python multi-threading/code multi-processus

Question

Dans le code ci-dessous, j'utilise mutli-threading ou multi-process pour l'extraction depuis url. Je pense que les pools seraient idéaux, Quelqu'un peut-il aider à suggérer la solution ..

Idée: pool thread/processus, collecter des données ... ma préférence est le processus sur le fil, mais pas sûr.

import urllib 

URL = "http://download.finance.yahoo.com/d/quotes.csv?s=%s&f=sl1t1v&e=.csv" 
symbols = ('GGP', 'JPM', 'AIG', 'AMZN','GGP', 'JPM', 'AIG', 'AMZN') 
#symbols = ('GGP') 

def fetch_quote(symbols): 
    url = URL % '+'.join(symbols) 
    fp = urllib.urlopen(url) 
    try: 
     data = fp.read() 
    finally: 
     fp.close() 
    return data 

def main(): 
    data_fp = fetch_quote(symbols) 
# print data_fp 
if __name__ =='__main__': 
    main() 

Answer 1

Vous avez un processus à la demande, plusieurs informations à la fois. Essayons de chercher ces informations, un par un .. Votre code sera:

def fetch_quote(symbols): 
    url = URL % '+'.join(symbols) 
    fp = urllib.urlopen(url) 
    try: 
     data = fp.read() 
    finally: 
     fp.close() 
    return data 

def main(): 
    for symbol in symbols: 
     data_fp = fetch_quote((symbol,)) 
     print data_fp 

if __name__ == "__main__": 
    main() 

donc appel principal(), un par un chaque URL pour obtenir les données. Faisons multiprocessus avec une piscine:

import urllib 
from multiprocessing import Pool 

URL = "http://download.finance.yahoo.com/d/quotes.csv?s=%s&f=sl1t1v&e=.csv" 
symbols = ('GGP', 'JPM', 'AIG', 'AMZN','GGP', 'JPM', 'AIG', 'AMZN') 

def fetch_quote(symbols): 
    url = URL % '+'.join(symbols) 
    fp = urllib.urlopen(url) 
    try: 
     data = fp.read() 
    finally: 
     fp.close() 
    return data 

def main(): 
    for symbol in symbols: 
     data_fp = fetch_quote((symbol,)) 
     print data_fp 

if __name__ =='__main__': 
    pool = Pool(processes=5) 
    for symbol in symbols: 
     result = pool.apply_async(fetch_quote, [(symbol,)]) 
     print result.get(timeout=1) 

Dans la principale suite à un nouveau processus est créé pour chaque demande urls symboles.

Note: sur python, puisque le GIL est présent, le multithreading doit être considéré comme une mauvaise solution.

Pour la documentation voir: Multiprocessing in python

Answer 2

En fait, il est possible de le faire sans. Vous pouvez le faire dans un thread en utilisant des appels asynchrones, comme par exemple twisted.web.client.getPage de Twisted Web.

Answer 3

Comme vous le savez, le multi-threading en Python n'est pas réellement multi-threading à cause de GIL. Essentiellement, c'est un seul thread qui s'exécute à un moment donné. Donc, dans votre programme si vous voulez que plusieurs URL soient récupérées à un moment donné, le multi-threading n'est peut-être pas la solution. Aussi après l'analyse, vous stockez les données dans un seul fichier ou un db persistant? La décision ici pourrait affecter votre performance.

Les processus multiples sont plus efficaces de cette façon, mais ont le temps & de mémoire de processus supplémentaires spawn. J'ai exploré ces deux options récemment dans Python. Voici l'URL (avec le code) -

python -> multiprocessing module

Answer 4

Alors, voici un exemple très simple. Il itére sur les symboles en passant un à la fois à fetch_quote.

import urllib 
import multiprocessing 

URL = "http://download.finance.yahoo.com/d/quotes.csv?s=%s&f=sl1t1v&e=.csv" 
symbols = ('GGP', 'JPM', 'AIG', 'AMZN','GGP', 'JPM', 'AIG', 'AMZN') 
#symbols = ('GGP') 

def fetch_quote(symbol): 
    url = URL % '+'.join(symbol) 
    fp = urllib.urlopen(url) 
    try: 
     data = fp.read() 
    finally: 
     fp.close() 
    return data 


def main(): 

    PROCESSES = 4 
    print 'Creating pool with %d processes\n' % PROCESSES 
    pool = multiprocessing.Pool(PROCESSES) 
    print 'pool = %s' % pool 
    print 

    results = [pool.apply_async(fetch_quote, sym) for sym in symbols] 

    print 'Ordered results using pool.apply_async():' 
    for r in results: 
     print '\t', r.get() 

    pool.close() 
    pool.join() 

if __name__ =='__main__': 
    main()