Hadoop dfs -ls renvoie la liste des fichiers dans mon hadoop/dir

Question

J'ai configuré une configuration Hadoop sigle-noeud exécutée via cygwin sous Win7. Après avoir démarré Hadoop par

bin/start-all.sh

je cours

bin/hadoop dfs -ls

qui me renvoie une liste de fichiers dans mon répertoire hadoop. Ensuite, je lance

bin/hadoop datanode -format
bin/hadoop namenode -format

mais -ls me renvoie toujours le contenu de mon répertoire hadoop. Pour autant que je comprends, il ne devrait rien retourner (dossier vide). Qu'est-ce que je fais mal?

Answer 1

Avez-vous modifié les fichiers core-site.xml et mapred-site.xml sous le dossier conf? Il semble que votre cluster hadoop soit en mode local.

Answer 2

J'ai rencontré le même problème et l'ai résolu en spécifiant explicitement l'URL du NameNode.

Pour répertorier tous les répertoires dans la racine de votre espace HDFS, procédez comme suit:

./bin/hadoop dfs -ls hdfs://<ip-of-your-server>:9000/ 

La documentation dit quelque chose au sujet d'un défaut hdfs pointent dans la configuration, mais je ne peux pas le trouver. Si quelqu'un sait ce qu'ils veulent dire, s'il vous plaît, éclairez-nous.

C'est là que je suis l'info: http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html#Overview

Answer 3

Ou vous pouvez simplement faire:

• Run stop-all.sh.
• Supprimer les données de DSF et des répertoires de nom
• NameNode -format
• Run

Answer 4

Je sais que cette question est assez vieux, mais la structure de répertoire dans Hadoop a un peu changé (version 2.5 La version actuelle de Jeroen serait.

hdfs DSF -ls hdfs: // localhost: 9000/utilisateurs/smalldata

aussi Pour information - utilisation de start-all.sh et stop-all.sh a été dépréciée, au lieu on devrait utilisez start-dfs.sh et start-yarn.sh