en utilisant Multi Thread pour le traitement de fichiers en utilisant python3

Question

J'essaye de traiter un fichier en utilisant le noyau unique de mon CPU. Mais je suppose que ce n'est pas suffisant d'utiliser un seul noyau. Au lieu de cela, si j'avais accès aux multiples cœurs de mon système, je pourrais accélérer et accélérer le processus.

Mais malheureusement, je sais traiter un fichier en utilisant un seul coeur. Voici ce que je faisais:

data = open('datafile','r',encoding='ascii',errors='ignore') 
for line in data.readlines(): 
    splitted = line.lower().strip().split() 
    check = process(splitted[0],splitted[1]) 
    if check == '': 
     pass 
data.close() 

Je veux savoir comment je peux utiliser la capacité totale de la CPU pour le traitement Teh process() tout en prenant le line séparément et obtenir la sortie comme vous le souhaitez? Même comment je peux éviter l'état de blocage du thread pendant le traitement car cela peut être dangereux pour la sortie du processus.

S'il vous plaît partagez votre point de vue avec moi.

Answer 1

Tout d'abord: vous avez besoin de plusieurs processus pour utiliser plusieurs cœurs. Pas de discussions. C'est une limitation due à GIL.

Voici maintenant un exemple de la façon dont vous pouvez le mettre en œuvre avec multiprocessing.Pool:

from multiprocessing import Pool, cpu_count 

def process(arg1, arg2): 
    ... 

workers_count = 2*cpu_count()+1 # or whatever you need 
pool = Pool(processes=workers_count) 

with open('datafile','r',encoding='ascii',errors='ignore') as fo: 
    buffer = [] 
    for line in fo: 
     splitted = line.lower().strip().split() 
     buffer.append((splitted[0], splitted[1])) 
     if len(buffer) == workers_count: 
      results = pool.map(process, buffer) 
      buffer = [] 
      # do something with results 
    if buffer: 
     results = pool.map(process, buffer) 
     # do something with results again 

Alors ce qu'il fait, il lit le fichier ligne par ligne et une fois qu'il recueille suffisamment de données qu'il envoie à une piscine multiprocessus et attend pour le traitement parallèle. Notez qu'à moins d'avoir SSD, l'exécution du disque io en parallèle ne fera que détériorer les performances (il ne serait pas non plus trivial de paralléliser les lectures ligne par ligne). Ce que vous devez savoir cependant, c'est que puisque plusieurs processus sont utilisés, vous ne pouvez pas partager la mémoire entre eux, c'est-à-dire que la fonction process ne doit pas lire/écrire dans des variables globales.