Meilleure méthode pour répartir un seul processus sur un cluster

Question

Je suis très novice en matière de cluster computing et je voulais en savoir plus sur les divers logiciels utilisés pour l'informatique en cluster, et ce qui convient le mieux à des tâches particulières. En particulier, le problème que j'essaie de résoudre implique un scénario de type Manager/Travailleur, où un seul responsable est responsable de la création de 100 à 1000 emplois. Chaque travail, bien que relativement important, doit s'exécuter petit à petit. C'est à dire. le gestionnaire dira à chaque travail «avancer d'une image et me rendre compte». L'exécution d'une seule trame sera très faible, de sorte que la latence entre le gestionnaire et les machines de travail doit être très faible, de l'ordre de quelques microsecondes.

Merci! Toute information serait appréciée, même des choses qui ne correspondent pas parfaitement au scénario que j'ai décrit, juste pour me donner un point de départ. Certains de ceux que j'ai étudiés jusqu'à présent sont Hadoop, HTCondor et Akka.

Answer 1

Étant donné que la latence de communication est importante pour vous, vous devriez probablement envisager d'utiliser MPI. Il n'est pas trop difficile d'écrire de simples programmes Master/Worker en utilisant MPI, et il vous donnera probablement les meilleures performances, surtout si votre cluster a des performances réseau élevées, comme Infiniband.

Si vous utilisez Java, vous devrez faire quelques recherches pour déterminer un bon paquet Java/MPI. Vous trouverez quelques suggestions ici: Java openmpi.