démarrer et arrêter des démons/processus hadoop dans un cluster

Question

J'ai un cluster Linux avec 9 nœuds et j'ai installé hadoop 1.0.2. J'ai un programme SIG que je cours en utilisant plusieurs esclaves. J'ai besoin de mesurer la vitesse de mon programme en utilisant disons 1, 2, 3, 4 .. 8 nœuds esclaves. J'utilise le script start-all.sh/stop-all.sh pour démarrer/arrêter mon cluster une fois que j'ai fait des changements dans le fichier conf/slaves en faisant varier le nombre d'esclaves. Mais je reçois des erreurs wierd en faisant cela, et il semble que je n'utilise pas la bonne technique pour ajouter/supprimer des nœuds esclaves dans le cluster.

Toute aide concernant la "technique idéale pour faire des changements dans le fichier esclaves et pour redémarrer le cluster" sera appréciée.

Answer 1

Le problème est probablement que vous n'autorisez pas Hadoop à supprimer les nœuds du système. Ce que vous voulez faire, c'est decommissioning les nœuds afin que HDFS ait le temps de re-répliquer les fichiers ailleurs. Le processus consiste essentiellement à ajouter des nœuds à un fichier excludes. Ensuite, vous exécutez bin/hadoop dfsadmin -refreshNodes, qui lit les configurations et actualise la vue du cluster des nœuds.

Lors de l'ajout de nœuds et même peut-être lors de la suppression de nœuds, vous devriez penser à exécuter le rebalancer. Cela permettra de répartir les données uniformément et aider dans certaines performances, vous pouvez voir si les nouveaux nœuds n'ont pas de données.