Exemple simple d'ordonnancement de processus en Python?

Question

J'ai un pool de processus à exécuter. Je voudrais utiliser pleinement la machine, de sorte que tous les processeurs exécutent des processus. Je ne veux pas surcharger le système, donc ce que je veux vraiment, c'est # executing_processes = # cpus à tout moment. J'ai également besoin de stocker le code stdout, stderr et retour de chaque processus terminé. Comment cela peut-il être réalisé en Python?

EDIT: par 'processus', je veux dire un processus shell.

Answer 1

Si vous parlez de votre propre -Python mis en œuvre, processus:

Le module multiprocessing vous donne la possibilité de reproduire de multiples processus. En particulier, il semble que vous voulez créer multiprocessing.cpu_count nombres de processus, potentiellement dans un Pool.

Si vous parlez de programmes distincts que vous souhaitez exécuter à travers la coquille:

Le module subprocess vous permettra de frayer des processus grâce à sa classe Popen, qui a des paramètres pour stdin, stdout, sterr qui acceptent des objets de type fichier. Popen.returncode peut être utilisé pour vérifier le code de retour.