Traitement parallèle en bash?

Question

J'ai des milliers de fichiers png que j'aime faire plus petit avec pngcrush. J'ai un simple travail find .. -exec, mais c'est séquentiel. Ma machine a beaucoup de ressources et je ferais cela en parallèle.

L'opération à effectuer sur chaque .png est:

pngcrush input output && mv output input 

je peux Idéalement spécifier le nombre maximum d'opérations parallèles.

Y a-t-il un moyen de le faire avec bash et/ou d'autres helpers shell? Je suis Ubuntu ou Debian.

Answer 1

Vous pouvez utiliser xargs pour exécuter plusieurs processus en parallèle:

find /path -print0 | xargs -0 -n 1 -P <nr_procs> sh -c 'pngcrush $1 temp.$$ && mv temp.$$ $1' sh 

xargs lira la liste des fichiers produits par find (séparés par 0 caractères (-0)) et exécutez la commande fournie (sh -c '...' sh) avec un paramètre à la fois (-n 1). xargs exécutera <nr_procs> (-P <nr_procs>) en parallèle.

Answer 2

Vous pouvez utiliser des solutions sur mesure find/xargs (voir la réponse de Bart Sas), mais quand les choses deviennent plus complexes que vous avez deux options au moins-puissants:

1. parallel (paquet de moreutils)
2. GNU parallel

Answer 3

Avec GNU Parallel http://www.gnu.org/software/parallel/ il peut être fait comme:

find /path -print0 | parallel -0 pngcrush {} {.}.temp '&&' mv {.}.temp {} 

En savoir plus:

• Regarder la vidéo d'intro pour une introduction rapide: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• Promenade à travers le tutoriel (homme parallel_tutorial). Votre ligne de commande vous aimera pour cela.