J'ai beaucoup de calculs trivialement parallélisables et beaucoup (100s) de cœurs distribués sur le réseau SSH + NFS. Quelle est la manière la plus simple de paralléliser. Le problème est que je ne sais pas combien de temps chaque tâche prendra donc j'ai besoin d'une sorte de file d'attente. Y at-il quelque chose qui est très facile à utiliser?Quel est le moyen le plus simple de parallélisation sur un cluster avec SSH et NFS?
2
A
Répondre
1
Mincemeat.py est une implémentation Python légère de MapReduce conçue à cet effet. Il n'y a pas de moyen facile de lancer tous les processus (sauf si vous avez quelque chose comme Condor sur le cluster), mais sinon cela devrait répondre à vos besoins.
1
Vous pouvez également jeter un oeil à mpssh & autossh.
http://www.mynitor.com/2010/08/16/top-50-ssh-helper-tools-omg/
Questions connexes
- 1. Quel est le moyen le plus simple d'implémenter une fonction de recherche sur un site Web?
- 2. Quel est le moyen le plus simple de programmer une période bêta sur un site?
- 3. Quel est le moyen le plus simple d'aligner l'axe Z avec un vecteur?
- 4. Quel est le moyen le plus simple d'ajouter un index sur une table myISAM live?
- 5. Quel est le moyen le plus simple de placer un lien URL dans un UITableViewCell?
- 6. Quel est le moyen le plus simple d'installer mon application Grails avec LightHTTPD pendant le développement?
- 7. Quel est le moyen le plus simple de charger de l'argent sur Internet?
- 8. Quel est le moyen le plus simple d'intégrer de (nouvelles) informations de fichier dans un glisser?
- 9. Un éditeur pour un objet de données en swing, quel est le moyen le plus simple?
- 10. Quel est le moyen le plus simple de décoder et d'afficher RTP (MPEG4 TS)
- 11. Quel est le moyen le plus rapide et le plus simple de créer un nouvel objet géré?
- 12. Quel est le moyen le plus simple de cloner un dépôt git vide * * vide?
- 13. Quel est le moyen le plus efficace d'effectuer une requête de plage sur un cluster de nœuds?
- 14. Quel est le moyen le plus simple de faire un ping/notifier un service Windows .NET?
- 15. C#: quel est le moyen le plus simple de trier les noms de répertoires et de choisir le plus récent?
- 16. Quel est le moyen le plus simple d'obtenir des données sur un simple lecteur de cartes magnétiques USB HID?
- 17. Quel est le moyen le plus simple de charger un ensemble de données littérales en PHP?
- 18. Quel est le moyen le plus simple de cloner un webservice?
- 19. Quel est le framework AJAX le plus simple, le plus réputé et le plus expérimenté?
- 20. Quel est le moyen le plus simple de rejoindre __contains et __in?
- 21. Quel est le moyen le plus simple d'obtenir un ratio en PHP de plusieurs nombres?
- 22. Quel est le moyen le plus simple d'extraire les données de cette chaîne avec matlab?
- 23. Dans SharePoint, quel est le moyen le plus simple de créer un fichier "schema.xml" personnalisé?
- 24. Quel est le moyen le plus simple pour télécharger et compiler tous les échantillons de wxWidgets?
- 25. Quel est le moyen le plus simple de tester un client .NET SAML?
- 26. NSMutableArray. Quel est le moyen le plus rapide pour le convertir en un tableau C simple?
- 27. Quel est le moyen le plus simple d'animer des graphiques 2D sur une surface?
- 28. Quel est le moyen le plus simple d'afficher une info-bulle sur mes pages Web?
- 29. Quel est le moyen le plus simple de lire un MP3 dans WPF?
- 30. Quel est le moyen le plus simple de convertir un octet Int32 en String?