Comment obtenir des informations statistiques dans Hadoop dans le code?

Question

Je veux obtenir des informations telles que Map octets d'entrée, réduire shuffle octets, etc dans mon code Java. Ces informations sont imprimées sur la console après le travail Hadoop, mais je cherche un moyen de les obtenir dans mon code?

Answer 1

Vous recherchez des compteurs Hadoop. Découvrez http://lintool.github.io/Cloud9/docs/content/counters.html ou Is there a way to access number of successful map tasks from a reduce task in an MR job?.