Lancement de tâches réseau parallèles à l'aide de xargs tout en minimisant la surcharge de commutation de contexte

Question

Je souhaite exécuter 100 tâches de réseau (non cpu intense) en parallèle et je souhaite comprendre la meilleure approche.

Plus précisément, est-il possible d'exécuter plus de 100 tâches en utilisant xargs et quels sont les inconvénients? Je comprends qu'il y a un point où il y a plus de changement de contexte que de traitement de paquets réel. Comment comprendre où ce point est et quelle est la meilleure façon de le minimiser?

Par exemple, y a-t-il de meilleurs outils pour utiliser d'autres xargs, etc.?

Answer 1

Mieux va souvent être une question de goût.

En utilisant GNU parallèle vous pouvez faire quelque chose comme ça pour aller chercher 100 images en parallèle:

seq 1000 | parallel -j100 wget https://foo.bar/image{}.jpg 

Si vous souhaitez obtenir des données de 100 serveurs et vous obtenez une gamme complète chaque fois:

parallel -a servers.txt -j0 --line-buffer my_connect {} 

Ou:

parallel -a servers.txt -j0 --line-buffer --tag my_connect {} 

GNU Parallel est un paralléliseur général qui facilite l'exécution de tâches en parallèle o n sur la même machine ou sur plusieurs machines auxquelles vous avez accès.

Si vous avez 32 emplois différents que vous voulez exécuter sur 4 processeurs, une voie à suivre directement à paralléliser est d'exécuter 8 emplois sur chaque CPU:

parallèle GNU fraie à la place un nouveau processus lorsque on finit - garder les CPU active et un gain de temps:

InstallationPour des raisons de sécurité, vous devez installer GNU Parallel avec votre gestionnaire de paquets, mais si GNU Parallel n'est pas empaqueté pour votre distribution, vous pouvez faire une installation personnelle, qui ne nécessite pas d'accès root. Il peut être fait en 10 secondes en faisant ceci:

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash 

Pour d'autres options d'installation, voir http://git.savannah.gnu.org/cgit/parallel.git/tree/README

En savoir plus

Voir d'autres exemples: http://www.gnu.org/software/parallel/man.html

Regardez l'intégralité des vidéos d'intro: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Promenade à travers t il tutoriel: http://www.gnu.org/software/parallel/parallel_tutorial.html

Inscrivez-vous à la liste de courrier électronique pour obtenir de l'aide: https://lists.gnu.org/mailman/listinfo/parallel