Envoyer plusieurs jobs qsub avec différents paramètres d'exécution

Question

Hier soir, j'ai envoyé un grand nombre de jobs avec qsub du même exécutable mais avec des paramètres d'entrée différents. La plupart des emplois étaient en file d'attente, attendant que les autres finissent. Ce matin, j'ai réalisé que tous les travaux en attente utilisaient la dernière instance de mon fichier d'entrée.

Quelle est la manière standard de contourner ce problème? Devrais-je avoir un fichier d'entrée par tâche et compiler mon code afin qu'il lise le bon? Ou existe-t-il une solution meilleure/plus robuste?

Answer 1

Vous pouvez créer un script PBS maître qui passe en boucle sur les différentes paramters d'entrée, les exécute en parallèle ou séquentielle:

cela donne simplement executable un numéro d'entrée différent pour chaque tâche (IN), vous devez modifier ce pour effectuer une boucle sur un ou plusieurs de vos paramètres d'entrée si nécessaire.

# PBS -l mppwidth=2048 

NIN=10 # number of input parameters 

for IN in `seq -w 1 $NIN`; do 
    cd "sub_job_${IN}" 
    executable $IN # runs jobs sequentially (you might have to prefix this with aprun) 
done 

ou en parallèle:

# PBS -l mppwidth=2048 
# ^^ these should now be shared among the jobs. 

NIN=10 # number of input parameters 

for IN in `seq -w 1 $NIN`; do 
    cd "sub_job_${IN}" 
    executable $IN & # runs the job in the background, you might 
        # have to prefix this with `aprun -n .. -N ..` or something 
        # so that each job only uses a portion of the total 
        # requested CPUs. 
done 
wait # wait for all jobs to finish