Comment établir une instance Hadoop à nœud unique sur AWS à l'aide d'Apache Whirr?

Question

Je tente d'exécuter une instance de Hadoop sur un nœud unique sur Amazon Web Services à l'aide d'Apache Whirr. J'ai mis whirr.instance-templates égal à 1 jt+nn+dn+tt. L'instance démarre bien. Je suis capable de créer des répertoires, mais quand j'essaie de créer des fichiers put, je reçois un File could only be replicated to 0 nodes, instead of 1 error. Quand je fais un hadoop fsck / j'obtiens une erreur Exception in thread "main" java.net.ConnectException: Connection refused. Est-ce que quelqu'un sait ce qui ne va pas avec ma configuration?

Answer 1

J'ai fait l'expérience que whirr ne démarre pas toujours tous les services fiables. Il semble que le namenode ait démarré (le namenode est responsable du stockage des informations du répertoire) mais le datanode n'a pas démarré (le datanode stocke les données).

Essayez d'exécuter

hadoop dfsadmin -report 

pour voir si un DataNode est disponible.

Sinon: il est souvent utile de redémarrer le cluster.