Si la classe partitioner crée plusieurs partitions mais que le nombre de tâches réduites est inférieur

Question

Combien de tâches de réduction seront lancées et combien de fichiers de sortie seront créés si ma classe de partitionnement renvoie n partitions et dans la fonction principale que j'ai job.setNumReduceTasks (1)?

Answer 1

1. À un moment, une seule partition sera en cours d'exécution car vous avez défini job.setNumReduceTasks(1).
2. Le nombre de fichiers de sortie sera n, car toutes les partitions seront finalement traitées. Les tâches Reducer redémarrent si les données ne sont pas traitées. Dans votre cas, Reducer fonctionnera n fois.