2016-06-23 1 views
0

J'ai un cas d'utilisation qui a des données d'employé d'une entreprise de différents groupes d'âge. J'ai besoin de trouver le salaire le plus élevé des hommes et des femmes de trois catégories d'âge.Hadoop Carte Réduire - Nombre de réducteur

détail pls aller à lien ci-dessous -

http://www.myhadoopexamples.com/2014/03/01/hadoop-mapreduce-example-with-partitioner/

Ma question est - Ici, nous avons seulement deux clés emited par mappeur i.e. mâle et femelle. et nous avons mis 3 réducteur dans la classe de pilote ainsi 3 partition sera créée.

Il pourrait y avoir deux choses ci-dessous -

  1. 3 réducteur sera en cours d'exécution pour chaque partition 3 qui trouvent à leur tour sur femelle max et le salaire des hommes dans chaque partioner. et donne le résultat attendu comme indiqué dans le lien ci-dessus.

  2. réducteur ne sera en cours d'exécution en fait, l'un des hommes et une pour les femmes et faire le calcul

+0

Qu'est-ce que vous voulez exactement ?? –

+0

Combien de réducteurs seront créés lors de l'exécution? va-t-il créer 3 données de réducteur et de serveur de chaque partitionneur à la fois et traiter la sortie ou simplement 2 réducteur car seulement deux clés sont là par le mappeur. –

+0

N'est-ce pas la troisième fois en environ 24 heures que cette question a été posée? http://stackoverflow.com/questions/37972288/number-of-reducer-in-map-reduce et http://stackoverflow.com/questions/37983319/number-of-reducer –

Répondre

0

Si vous voulez connaître le vrai num de réducteurs, vous feriez mieux de l'exécuter sur le cluster. Comme indiqué dans Number of reducer in map reduce, il lancera 3 réducteurs et 1 réducteur ne traitera aucune donnée. Si vous voulez utiliser les trois réducteurs, vous pouvez changer la classe de Partioner, comme les données de partitionnement par le groupe d'âge