multiprocessing renvoie "trop ​​de fichiers ouverts" mais en utilisant "with ... as" le corrige. Pourquoi?

Question

J'utilisais this answer pour exécuter des commandes parallèles avec multiprocessing en Python sur une machine Linux.

Mon code a fait quelque chose comme:

import multiprocessing 
import logging 

def cycle(offset): 
    # Do stuff 

def run(): 
    for nprocess in process_per_cycle: 
     logger.info("Start cycle with %d processes", nprocess) 
     offsets = list(range(nprocess)) 
     pool = multiprocessing.Pool(nprocess) 
     pool.map(cycle, offsets) 

Mais je recevais cette erreur: OSError: [Errno 24] Too many open files
Ainsi, le code a été d'ouvrir trop de descripteur de fichier, à savoir: il commençait trop de processus et ne pas les mettre fin à .

Je l'ai fixé en remplaçant les deux dernières lignes avec ces lignes:

with multiprocessing.Pool(nprocess) as pool: 
     pool.map(cycle, offsets) 

Mais je ne sais pas exactement pourquoi ces lignes fixes elle.

Que se passe-t-il en dessous de with?

Answer 1

Vous créez de nouveaux processus dans une boucle, puis oubliez de les fermer une fois que vous avez terminé. En conséquence, il arrive un moment où vous avez trop de processus ouverts. C'est une mauvaise idée.

Vous pouvez résoudre ce problème en utilisant un gestionnaire de contexte qui appelle automatiquement pool.terminate ou en appelant manuellement le pool.terminate. Sinon, pourquoi ne pas créer un pool en dehors de la boucle juste une fois, puis envoyer des tâches aux processus à l'intérieur?

pool = multiprocessing.Pool(nprocess) # initialise your pool 
for nprocess in process_per_cycle: 
    ...  
    pool.map(cycle, offsets) # delegate work inside your loop 

pool.close() # shut down the pool 

Pour plus d'informations, vous pouvez prendre connaissance de la documentation multiprocessing.Pool.

Answer 2

C'est le gestionnaire de contexte. L'utilisation avec garantit que vous ouvrez et fermez les fichiers correctement. Pour le comprendre en détail, je recommanderais cet article https://jeffknupp.com/blog/2016/03/07/python-with-context-managers/