27
Je cours hadoop avec la configuration par défaut avec un cluster à un nœud, et je voudrais trouver où HDFS stocke les fichiers localement.Où HDFS stocke les fichiers localement par défaut?
Des idées?
Merci.
A
Répondre
23
Vous devez regarder dans votre fichier de configuration hdfs-default.xml pour le réglage de dfs.data.dir. Le paramètre par défaut est: $ {hadoop.tmp.dir}/dfs/data et notez que le $ {hadoop.tmp.dir} est réellement dans core-default.xml décrit here. Les options de configuration sont La description de ce paramètre est:
détermine où le système de fichiers sur locale un nœud de données DFS devrait stocker ses blocs. S'il s'agit d'une liste de répertoires délimitée par des virgules, , les données seront stockées dans tous les répertoires nommés, généralement sur différents périphériques . Les répertoires qui n'existent pas sont ignorés.
14
Comme "réponse plus récente" et de préciser les numéros de version de Hadoop:
Si vous utilisez Hadoop 1.2.1 (ou similaire), la réponse de Nerd @Binary est toujours vrai.
Mais si vous utilisez, vous devriez lire la documentation de configuration here et l'option que vous souhaitez définir est Hadoop 2.1.0-beta (ou quelque chose de similaire): dfs.datanode.data.dir
-5
Exécuter ce dans l'invite cmd, et vous obtiendrez l'emplacement DHFS:
bin/hadoop fs -ls
+0
Comme présenté, cette commande donne juste une erreur. Et vous avez corrigé la commande, cela ne répondrait pas du tout à la question initiale, -ls ne va pas aider à cet égard. – derekv
11
on dirait que pour la version actuelle (2.7.1) le répertoire est
/tmp/hadoop-${user.name}/dfs/data
Basé sur dfs.datanode.data.dir, hadoop.tmp.dir cadre de: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml
Questions connexes
- 1. Où Git stocke-t-il les fichiers?
- 2. Où l'Android Emulator stocke-t-il les fichiers SD-Card?
- 3. Où SVN stocke-t-il les fichiers de mise en page?
- 4. Où Eclipse stocke les raccourcis clavier?
- 5. Où Visual Studio stocke le navigateur par défaut à utiliser dans le débogage?
- 6. Où Reporting Services stocke-t-il ses fichiers journaux
- 7. CVS: affiche les fichiers modifiés localement
- 8. Où l'iPhone Simulator stocke-t-il les applications installées?
- 9. Afficher tous les fichiers par défaut
- 10. Où se trouvent les fichiers ou les fonctions de widget WordPress par défaut?
- 11. Où NSKeyedArchiver stocke-t-il généralement les données sur l'iPhone?
- 12. Hadoop: (?) Map/reduce de HDFS
- 13. Où eclipse stocke des informations sur les fichiers jar associés à une bibliothèque
- 14. Où Outlook stocke-t-il les fichiers PST qui sont montés?
- 15. Où Eclipse stocke-t-elle les clés SSL?
- 16. Où sont les alias par défaut définis dans PowerShell?
- 17. Où Windows stocke-t-il ses paramètres "Ouvrir avec"?
- 18. Où la gitose stocke-t-elle les copies de travail?
- 19. Où WordPress stocke-t-il les métadonnées de l'image?
- 20. Où nunit stocke-t-il les assemblages récemment chargés
- 21. Est-ce que 'svn switch' supprime les fichiers ajoutés localement?
- 22. Où placer les fichiers DTD et schéma
- 23. Comment copier efficacement des fichiers de HDFS vers S3
- 24. Où Windows Vista stocke-t-il l'image de profil?
- 25. Comment créer une application logicielle GPA calculatrice où le programme stocke les données saisies par l'utilisateur
- 26. Où SQL Server 2005 conserve les fichiers .mdf?
- 27. Où "les sites Web ASP.NET" stockent-ils les paramètres de référence/d'assemblage par défaut pour VB/C#?
- 28. Où MySQL de Leopard Server stocke-t-il ses données?
- 29. Les fichiers par défaut d'échafaudage sont la meilleure pratique?
- 30. android lire les fichiers audio avec le lecteur par défaut
Votre lien est rompu – mortonjt
ce lien est cassé :( –
quelle est la valeur par défaut de 'hadoop.tmp.dir'? – chenzhongpu