Comment puis-je exécuter simultanément plusieurs tâches à partir d'une grande file d'attente en Perl?

Question

Je voudrais programmer des limites de travail pour le LSF commandbsub dans mon script Perl qui lance des travaux LSF sous le capot. Si j'ai quelque chose comme 2000 emplois, je voudrais exécuter au plus 20 emplois à un moment donné. J'ai vu des scripts qui lancent 20 jobs et attendent que tous les terminent avant de lancer un autre 20.

Answer 1

Plusieurs modules Perl existants, dont Parallel::ForkManager et Forks::Super (dont je suis l'auteur) offrent cette fonctionnalité. Il y a aussi un module LSF::JobManager que je ne connais pas d'autre.

---

parallèle :: squelette ForkManager

use Parallel::ForkManager; 
$pm = new Parallel::ForkManager(20); 
foreach $job (@jobsToRun) { 
    $pm->start and next; 
    system("bsub -K $job"); # bsub -K job to wait until job finishes, right? 
    $pm->finish; 
} 

---

Et à Forks :: super

use Forks::Super MAX_PROC => 20; 
foreach $job (@jobsToRun) { 
    fork { cmd => "bsub -K $job" }; 
} 

---