2013-07-29 7 views
2

Utilisation de la configuration Hadoop multi-noeuds (1 mater, 1 Salve)Impossible d'obtenir le répertoire du système - Hadoop

Après le démarrage start-mapred.sh sur le maître, je trouve ci-dessous erreur dans les journaux de TT (Slave e)

org.apache.hadoop.mapred.TaskTracker: Impossible d'obtenir le répertoire du système

quelqu'un peut me aider à savoir ce qui peut être fait pour éviter cette erreur

I je utilise Hadoop 1.2.0 jetée-6.1.26 java version "1.6.0_23"

fichier mapred-site.xml

<configuration> 
<property> 
    <name>mapred.job.tracker</name> 
    <value>master:54311</value> 
    <description>The host and port that the MapReduce job tracker runs 
    at. If "local", then jobs are run in-process as a single map 
    and reduce task. 
    </description> 
</property> 
<property> 
    <name>mapred.map.tasks</name> 
    <value>1</value> 
     <description> 
      define mapred.map tasks to be number of slave hosts 
</description> 
</property> 

<property> 
    <name>mapred.reduce.tasks</name> 
    <value>1</value> 
     <description> 
      define mapred.reduce tasks to be number of slave hosts 
</description> 
</property> 

</configuration> 

core-site.xml

<configuration> 
<property> 
    <name>fs.default.name</name> 
    <value>hdfs://master:54310</value> 
    <description>The name of the default file system. A URI whose 
    scheme and authority determine the FileSystem implementation. The 
    uri's scheme determines the config property (fs.SCHEME.impl) naming 
    the FileSystem implementation class. The uri's authority is used to 
    determine the host, port, etc. for a filesystem.</description> 
</property> 
<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/home/hduser/workspace</value> 
</property> 
</configuration> 
+1

Veuillez également publier vos fichiers hdfs-site.xml et core-site.xml, si vous le pouvez. –

+1

Également les journaux DN et TT. – Tariq

+0

2013-07-29 13: 38: 55,728 ERREUR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: L'initialisation de FSNamesystem a échoué. java.io.IOException: NameNode n'est pas formaté. eu cette erreur après avoir spécifié un chemin vers hadoop.tmp.dir – Surya

Répondre

2

Il semble que vous venez d'ajouter hadoop.tmp.dir et a commencé le travail. Vous devez redémarrer les démons Hadoop après avoir ajouté une propriété aux fichiers de configuration. Vous avez indiqué dans votre commentaire que vous avez ajouté cette propriété à un stade ultérieur. Cela signifie que toutes les données et métadonnées ainsi que d'autres fichiers temporaires sont toujours dans le répertoire/tmp. Copiez toutes ces choses à partir de là dans votre répertoire /home/hduser/workspace, redémarrez Hadoop et réexécutez le travail.

Faites-moi savoir le résultat. Je vous remercie.

+0

Ré-formater le système de fichiers dans/tmp/hadoop-root/dfs/name? (O ou N) y Format abandonné dans/tmp/hadoop-root/dfs/name; question sur le format, peut u conseiller @Tariq – Surya

+0

ce woked bien après le retrait de répertoire temporaire – Surya

+0

mais problème avec connceting au noeud nom, org.apache.hadoop.mapred.JobTracker: Problème de connexion à HDFS NameNode ... rejuger @ Tariq – Surya

0

Si c'est votre PC Windows et que vous utilisez cygwin pour lancer Hadoop. Ensuite, le suivi des tâches ne fonctionnera pas.

+0

pas je travaille sur fedora – Surya

+0

@ Tariq-- Je n'ai pas eu votre question. S'il vous plaît expliquer ce que vous voulez dire :) –

+1

Je voudrais savoir comment vous êtes arrivé à la conclusion que TT ne fonctionnera pas si vous utilisez Hadoop via cygwin. Je vous remercie. – Tariq

Questions connexes