J'ai suivi this tutorial pour installer le cluster multi-nœuds Hadoop 2.2.0 sur Amazon EC2. J'ai eu un certain nombre de problèmes avec ssh et scp que j'étais capable de résoudre ou de contourner avec l'aide d'articles sur Stackoverflow mais malheureusement, je ne pouvais pas résoudre le dernier problème. Je joins les fichiers de configuration principaux core-site.xml, hdfs-site.xml, etc. Je joins également un fichier journal qui est une sortie de vidage lorsque j'exécute la commande start-dfs.sh. C'est la dernière étape pour démarrer le cluster et c'est donner un mélange d'erreurs et je ne sais pas quoi faire avec eux.Hadoop 2.2.0 configuration de cluster multi-nœuds sur ec2 - 4 ubuntu 12.04 t2.micro instances identiques
Donc j'ai 4 nœuds exactement le même AMI est utilisé. Instances Ubuntu 12.04 64 bit t2.micro 8GB. NameNode SecondaryNode (SNN) Slave1 Slave2
La configuration est presque le même que celui proposé dans le tutoriel mentionné ci-dessus.
J'ai été capable de me connecter avec WinSCP et ssh d'une instance à l'autre. Avoir copié tous les fichiers de configuration, les maîtres, les esclaves et les fichiers .pem à des fins de sécurité et les instances semblent être accessibles les uns des autres.
Si quelqu'un pouvait regarder s'il vous plaît le journal, fichiers de configuration, fichier .bashrc et laissez-moi savoir ce que je fais mal.
Le même groupe de sécurité HadoopEC2SecurityGroup est utilisé pour toutes les instances. Tout le trafic TCP est autorisé et le port ssh est ouvert. Capture d'écran dans le dossier compressé ci-joint. Je suis capable de passer de Namenode au nom de noeud secondaire (SSN). Il en va de même pour les esclaves, ce qui signifie que ssh fonctionne mais quand je démarre le hdfs, tout tombe en panne. Le journal des erreurs ne jette aucune exception utile non plus. Tous les fichiers et captures d'écran peuvent être trouvés comme zipped folder here.
Extrait de sortie d'erreur sur la console ressemble
À partir namenodes sur [OpenJDK 64 bits serveur avertissement VM: Vous avez chargé la bibliothèque/usr/local/Hadoop/lib /native/libhadoop.so.1.0.0 qui aurait pu désactiver la protection de la pile. La VM essayera de réparer la pile de protection maintenant. Il est fortement recommandé de réparer la bibliothèque avec 'execstack -c', ou de la lier avec '-z noexecstack'. ec2-54-72-106-167.eu-west-1.compute.amazonaws.com] Vous: ssh: Impossible de résoudre le nom d'hôte vous: Nom ou service inconnu avoir: ssh: Impossible de résoudre le nom d'hôte avoir: Nom ou service inconnu chargé: ssh: impossible de résoudre le nom d'hôte chargé: nom ou service inconnu VM: ssh: impossible de résoudre le nom d'hôte vm: nom ou service inconnu bibliothèque: ssh: impossible de résoudre la bibliothèque de noms d'hôte: nom ou service inconnu Serveur: ssh: Impossible de résoudre le serveur de nom d'hôte: Nom ou service inconnu warning :: ssh: Impossible de résoudre le nom d'hôte :: Nom ou service inconnu qui: ssh: Impossible de résoudre le nom d'hôte dont: Nom ou service inconnu guard .: ssh: Impossible de résoudre le nom d'hôte guard .: Nam e ou service non connu ont: ssh: Impossible de résoudre le nom d'hôte ont: Nom ou service non connu pourrait: ssh: Impossible de résoudre le nom d'hôte peut: Nom ou service non connu
.....