Hadoop Reduce Error

Je continue d'être dépassé MAX_FAILED_UNIQUE_FETCHES; sur la phase de réduction même si j'ai essayé toutes les solutions que j'ai pu trouver en ligne. Aidez-moi s'il vous plaît, j'ai une présentation de projet dans trois heures et ma solution ne change pas.Hadoop Reduce Error

J'ai un maître qui est NameNode et JobTracker (172.16.8.3) et 3 travailleurs (172.16.8. {11, 12, 13})

Voici les fichiers de configuration correspondants (je ne peux pas faire la construction de spectacle):

 

//////// 172.16.8.3 //////////////////// 

// core-site.xml 

    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    


// mapred-site.xml 


    
     mapred.job.tracker 
     172.16.8.3:54311 
    




//////// 172.16.8.11 //////////////// 

// core-site.xml 

    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    


// mapred-site.xml 


    
     mapred.job.tracker 
     172.16.8.3:54311 
    


/////// 172.16.8.12 ////////////// 
// core-site.xml 
<configuration> 
    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    
</configuration> 

// mapred-site.xml 

    
     mapred.job.tracker 
     172.16.8.3:54311 
    


///////// 172.16.8.13 //////// 
// core-site.xml 

    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    



// mapred-site.xml 

    
     mapred.job.tracker 
     172.16.8.3:54311

Source

2010-07-13 Marius

Je ne veux pas rire, mais généralement vous le faites fonctionner et ensuite faire une présentation dessus ... – bwawok

bien, ça marche sur un cluster à un seul nœud, et théoriquement, il devrait fonctionner sur un nombre arbitraire de machines, mais cela ne se passe pas – Marius

et, le calendrier a été choisi par mon conseiller :( – Marius

Ce link semble indiquer qu'il pourrait être un problème de configuration du réseau. Les réducteurs ne parviennent pas à récupérer les cartes (en raison d'un nombre insuffisant de tentatives), ce qui peut être dû à un problème de mise en réseau/configuration qui les empêche d'interroger le serveur Jetty.

Avertissement: Je ne l'ai pas utilisé Hadoop professionnellement

Source

2010-07-13 02:15:15 Syntax

J'ai déjà vérifié tous les réseaux et il ne semble pas y avoir de problème, j'ai aussi vérifié le problème quand vous n'avez plus de descripteurs de fichiers et je ne peux toujours pas passer ce bug. présenter ma thèse en moins de trois heures – Marius

Je viens de découvrir que courir le w L'exemple d'exemple sur le cluster avec plus d'un fichier d'entrée donne la même erreur. Quel est le rapport? – Marius

Combien de nœuds dans votre cluster? Est-il possible que d'une façon ou d'une autre vous inscriviez un noeud supplémentaire et quand plus d'un fichier est soumis le second est donné au noeud supplémentaire? L'exemple wordcount m'indique que les lignes sont données aux mappeurs; Y a-t-il plusieurs lignes dans chaque fichier texte? Cela signifie que le contenu d'un fichier serait distribué pour traitement sur plusieurs hôtes? – Syntax

je rencontrais cette erreur aussi: Causée par: java.io.IOException: MAX_FAILED_UNIQUE_FETCHES Dépassé; renflouer. Le correctif pour moi consiste à utiliser des noms d'hôte à la place des adresses IP sur core-site.xml et mapred-site.xml. Vous aurez besoin d'éditer le fichier hosts et d'inclure les maîtres et les esclaves

Source

2011-01-25 03:28:41 Jonar

Hadoop Reduce Error

Répondre

Questions connexes