Comment exécuter un autre script en Python sans attendre qu'il se termine?

Question

Je crée un petit tableau de bord pour un utilisateur qui lui permettra d'exécuter des tâches spécifiques. J'utilise Django donc je veux qu'il puisse cliquer sur un lien pour démarrer le travail, puis lui retourner la page avec un message indiquant que le travail est en cours. Les résultats du travail lui seront envoyés par courrier électronique plus tard.

Je crois que je suis censé utiliser subprocess.Popen mais je ne suis pas sûr de cela. Donc, en pseudocode, voici ce que je veux faire:

if job == 1: 
    run script in background: /path/to/script.py 
    return 'Job is running' 

Answer 1

p = subprocess.Popen([sys.executable, '/path/to/script.py'], 
            stdout=subprocess.PIPE, 
            stderr=subprocess.STDOUT) 

qui commencera le sous-processus en arrière-plan. Votre script continuera à fonctionner normalement.

Lire la documentation here.

Answer 2

sous-processus.Popen est en effet ce que vous cherchez.

Answer 3

Bien que si vous trouvez que vous voulez commencer à communiquer un tas d'informations entre le sous-processus et le parent, vous pouvez envisager un thread, ou un framework RPC comme Twisted.

Mais très probablement ceux-ci sont trop lourds pour votre application.

Answer 4

L'exécution à travers une file d'attente de messages est définitivement le chemin à suivre si vous envisagez une mise à l'échelle à long terme. Envoyez un message à la file d'attente qui s'exécute constamment en arrière-plan et écrivez des gestionnaires de travaux pour gérer les différents types de messages.

Depuis que vous utilisez Django, je pense que Beanstalkd est un bon ajustement. Here's un joli tutoriel sur le sujet. Le premier commentaire dans cet article a également quelques bons conseils.

Personnellement, j'ai roulé avec un serveur de file d'attente en mémoire personnalisé écrit en Erlang, avec des liaisons Python écrites en C. Mais redis semble être un excellent concurrent pour les futurs besoins de mise en file d'attente/messagerie. J'espère que cela t'aides!