Hadoop - Mapper et réduire à 0% tout le temps

Question

J'essaye d'implémenter l'algorithme PageRank sur la plateforme Hadoop avec Eclipse, mais je suis confronté à des problèmes inhabituels :). J'ai essayé ceci localement: installé cygwin, mis en place Hadoop 0.19.2 (et 0.18.0), a démarré les démons nécessaires et installé Eclipse 3.3.1. J'ai téléchargé testinf fichier txt, puis essayé de courir l'exemple WordCount ou même un simple .java et je suis arrivé cette sortie (pour environ 100 fois :))):

10/07/22 22:10: 23 INFO mapred.FileInputFormat: Nombre total de chemins d'entrée à traiter: 1
10/07/22 22:10:23 INFO mapred.JobClient: Travail en cours: job_201007220415_0017
10/07/22 22:10:24 INFO mapred.JobClient : map 0% reduce 0%

Carte et réduction sont 0% tout le temps. J'ai essayé avec Hadoop sur une machine virtuelle et j'ai eu la même situation.

J'ai suivi toutes les instructions de la page Hadoop et d'autres pages utiles, mais cela n'a pas résolu mon problème. Aucune suggestion? :)

Answer 1

Êtes-vous prêt à le faire en Java? Si non, vous pouvez utiliser un joyau Ruby appelé WUKONG qui a un exemple de pagerank http://github.com/mrflip/wukong/tree/master/examples/pagerank/

Answer 2

Cela ressemble plus à un problème avec votre configuration Hadoop qu'avec Eclipse. Assurez-vous que toutes les parties de votre cluster sont en cours d'exécution, c'est-à-dire DataNode (s), TaskTracker (s), JobTracker. Si ceux-ci sont tous en cours d'exécution, cela peut être un problème avec la façon dont vous configurez le travail.