Spécifiez 'mapreduce.jobtracker.hosts.filename' pour un seul travail MapReduce

Quelques noeuds ont été ajoutés au cluster. Mon travail M/R échoue lorsqu'il est exécuté sur l'un d'entre eux. La raison exacte pourquoi reste incertaine et il faudra quelques jours jusqu'à ce qu'une solution soit trouvée, donc je suis à la recherche d'une solution de contournement temporaire.Spécifiez 'mapreduce.jobtracker.hosts.filename' pour un seul travail MapReduce

Existe-t-il un moyen d'exclure ces noeuds (mapreduce.jobtracker.hosts.exclude.filename) au niveau du travail?
Ou liste blanche les anciens noeuds de travail (mapreduce.jobtracker.hosts.filename)?

Source

2017-07-10 Marek Grzenkowicz

Vous pouvez tout simplement définir la propriété suivante 2

<property> 
<name>mapred.max.tracker.failures</name> 
<value>2</value> 
</property>

et il échouera le travail 2 deux fois sur ces nœuds et continuer ailleurs où

Source

2017-07-10 17:20:57 shainnif

Ce n'est pas exactement une réponse à ma question, mais je Je suis de toute façon en train de l'upvoter - ajouter '-D mapreduce.job.maxtaskfailures.per.tracker = 1' diminue le nombre de fois qu'une tâche M/R tente d'utiliser les nœuds problématiques. –

Spécifiez 'mapreduce.jobtracker.hosts.filename' pour un seul travail MapReduce

Répondre

Questions connexes