Installation Hadoop dans Windows 7

Question

Je travaille sur l'installation Hadoop dans Windows 7.

J'ai essayé de décompresser les tarfiles à partir du site apache mais il a échoué.

J'ai cherché sur Internet et trouvé ci-dessous le lien.

http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/ 

J'ai pu installer. Mais quand j'essayais d'exécuter les exemples, j'ai été confronté à des erreurs ci-dessous.

Commande exécutée:

C:\Users\hadoop\hadoop-2.7.1\bin\hadoop.cmd jar C:\Users\hadoop\hadoop-2.7.1\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.1.jar wordcount /hadoop/input /hadoop/output 

Erreur:

C:\Users\hadoop\hadoop-2.7.1>C:\Users\hadoop\hadoop-2.7.1\bin\hadoop.cmd jar C:\Users\hadoop\hadoop-2.7.1\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.1.jar wordcount /hadoop/input /hadoop/output 
16/11/14 17:05:28 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:0000 
16/11/14 17:05:30 INFO input.FileInputFormat: Total input paths to process : 3 
16/11/14 17:05:30 INFO mapreduce.JobSubmitter: number of splits:3 
16/11/14 17:05:30 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1479122512555_0003 
16/11/14 17:05:31 INFO impl.YarnClientImpl: Submitted application application_1479122512555_0003 
16/11/14 17:05:32 INFO mapreduce.Job: The url to track the job: http://MachineName:8088/proxy/application_1479122512555_0003/ 
16/11/14 17:05:32 INFO mapreduce.Job: Running job: job_1479122512555_0003 
16/11/14 17:05:36 INFO mapreduce.Job: Job job_1479122512555_0003 running in uber mode : false 
16/11/14 17:05:36 INFO mapreduce.Job: map 0% reduce 0% 
16/11/14 17:05:36 INFO mapreduce.Job: Job job_1479122512555_0003 failed with state FAILED due to: Application application_1479122512555_0003 failed 2 times due to AM Container for appattempt_1479122512555_0003_000002 exited with exitCode: -1000 
For more detailed output, check application tracking page:http://MachineName:8088/cluster/app/application_1479122512555_0003Then, click on links to logs of each attempt. 
Diagnostics: null 
Failing this attempt. Failing the application. 
16/11/14 17:05:36 INFO mapreduce.Job: Counters: 0 

Merci à l'avance ...

Answer 1

En fait, cela est dû aux problèmes d'autorisation sur certains des fils répertoires locaux. Voici donc la solution

• Identifier les répertoires de fil défini par le paramètre yarn.nodemanager.local-dirs de /etc/gphd/hadoop/conf/yarn-site.xml sur le gestionnaire de nœud de fil.

• Supprimez les fichiers/dossiers sous usercache de tous les répertoires répertoriés dans yarn-site.xml et de tous les gestionnaires de noeud.

par exemple

rmdir path/to/yarn/nm/usercache/*