Comment traiter une liste de fichiers avec SLURM

Question

Je suis nouveau sur SLURM. Je veux traiter une liste de fichiers assembled_reads/*.sorted.bam en parallèle. Avec le code ci-dessous, cependant, un seul processus est utilisé encore et encore.

#!/bin/bash 
# 
#SBATCH --job-name=**** 
#SBATCH --ntasks=1 
#SBATCH --cpus-per-task=24 
#SBATCH --partition=short 
#SBATCH --time=12:00:00 
#SBATCH --array=1-100 
#SBATCH --mem-per-cpu=16000 
#SBATCH --mail-type=FAIL 
#SBATCH --mail-user=****@***.edu 
srun hostname 

for FILE in assembled_reads/*.sorted.bam; do 
    echo ${FILE} 
    OUTFILE=$(basename ${FILE} .sorted.bam).raw.snps.indels.g.vcf 
    PLDY=$(awk -F "," '$1=="$FILE"{print $4}' metadata.csv) 
    PLDYNUM=$([[$PLDY = "haploid" ]] && echo "1" || echo "2") 

    srun java -Djava.io.tmpdir="tmp" -jar GenomeAnalysisTK.jar \ 
    -R scaffs_HAPSgracilaria92_50REF.fasta \ 
    -T HaplotypeCaller \ 
    -I ${${SLURM_ARRAY_TASK_ID}} \ 
    --emitRefConfidence GVCF \ 
    -ploidy $PLDYNUM \ 
    -nt 1 \ 
    -nct 24 \ 
    -o $OUTFILE 
    sleep 1 # pause to be kind to the scheduler 
done 

Answer 1

Vous créez un tableau de travaux mais vous ne l'utilisez pas. Vous devez remplacer la boucle for avec une indexation des fichiers sur la base du tableau d'emploi slurm id:

#!/bin/bash 
# 
#SBATCH --job-name=**** 
#SBATCH --ntasks=1 
#SBATCH --cpus-per-task=24 
#SBATCH --partition=short 
#SBATCH --time=12:00:00 
#SBATCH --array=1-100 
#SBATCH --mem-per-cpu=16000 
#SBATCH --mail-type=FAIL 
#SBATCH --mail-user=****@***.edu 
srun hostname 
FILES=(assembled_reads/*.sorted.bam)  
FILE=${FILES[$SLURM_TASK_ARRAY_ID]} 

echo ${FILE} 
OUTFILE=$(basename ${FILE} .sorted.bam).raw.snps.indels.g.vcf 
PLDY=$(awk -F "," '$1=="$FILE"{print $4}' metadata.csv) 
PLDYNUM=$([[$PLDY = "haploid" ]] && echo "1" || echo "2") 

srun java -Djava.io.tmpdir="tmp" -jar GenomeAnalysisTK.jar \ 
    -R scaffs_HAPSgracilaria92_50REF.fasta \ 
    -T HaplotypeCaller \ 
    -I ${${SLURM_ARRAY_TASK_ID}} \ 
    --emitRefConfidence GVCF \ 
    -ploidy $PLDYNUM \ 
    -nt 1 \ 
    -nct 24 \ 
    -o $OUTFILE 

Assurez-vous d'adapter la valeur de --array être égal au nombre de dossiers à traiter.