Est-ce que Hadoop peut être restreint pour économiser des cycles CPU?

Question

Est-il possible d'exécuter Hadoop pour n'utiliser que des cycles CPU de rechange? C'est à dire. Serait-il faisable d'installer Hadoop sur les machines de travail des gens afin que le calcul du nombre puisse être fait quand ils n'utilisent pas leurs PC, et ils ne connaîtraient pas une perte de performance évidente (les fans de Wheasting de côté!).

Peut-être s'agit-il simplement de paramétrer la JVM sur une priorité basse et de ne pas utiliser trop de réseau (en supposant que cela soit possible sur une machine Windows)?

Si non, quelqu'un connaît-il des équivalents Java à des choses comme BOINC?

Édition: Trouvé une liste d'infrastructure de nettoyage de cycle here. Bien que ma question sur Hadoop soit toujours là.

Answer 1

Ceci est très en dehors de l'utilisation prévue pour Hadoop. Hadoop s'attend à ce que tous ses nœuds soient entièrement disponibles et mis en réseau pour un débit optimal - ce qui n'est pas le cas avec les stations de travail. En outre, il ne fonctionne même pas vraiment sous Windows (vous pouvez l'utiliser avec cygwin, mais je ne connais personne qui l'utilise pour la "production" - sauf en tant que machines clientes émettant des travaux). Hadoop fait des choses comme stocker des morceaux de données sur quelques-uns des nœuds, et essayer de planifier tous les calculs sur ces données sur ces nœuds; Dans un environnement de travail partagé, cela signifie qu'une tâche nécessitant ces données doit être exécutée sur ces trois stations de travail, indépendamment de ce que font leurs utilisateurs en ce moment. En revanche, les projets de «nettoyage de cycle» conservent toutes les données ailleurs et les envoient ainsi qu'une tâche à n'importe quel nœud disponible à un moment donné. Cela leur permet d'être plus agréables avec les machines, mais cela entraîne des coûts évidents de transfert de données.

Answer 2

Peut-être Terracotta est quelque chose de plus dans votre ruelle?

Terracotta Product Link