3
J'utilise CompositeInputFormat pour fournir une entrée à un travail hadoop.Partitions de fichiers Hadoop: CompositeInputFormat: Inner Join
Le nombre de divisions générées est le nombre total de fichiers donnés en entrée à CompositeInputFormat (pour la jointure).
Le travail ignore complètement la taille de bloc et la taille de division maximale (tout en recevant une entrée de CompositeInputFormat). Cela entraîne des tâches cartographiques longues et rend le système lent car les fichiers d'entrée sont plus grands que la taille du bloc.
Est-ce que quelqu'un est au courant de la façon dont le nombre de divisions peut être géré pour CompositeInputFormat?
J'utilise déjà le nombre maximal de réducteurs. J'ai besoin de plus petite taille de bloc pour plusieurs vagues de carte. À l'heure actuelle, les tâches de la carte sont trop importantes, ce qui crée des problèmes de performance, ainsi que des échecs de tâches parfois. – TheHat
Je ne pense pas que vous comprenez ce que je dis. Le problème est que vous ne pouvez pas diviser les tâches de la carte par des divisions d'entrée lors de l'utilisation de CompositeInputFormat. Un moyen de contourner cela est de diviser manuellement les fichiers vous-même. Alors, prenez vos gros fichiers et divisez-les en fichiers plus petits. Une façon de faire est ce que je suggère dans mon 2ème paragraphe. En passant, il n'y a pas de nombre maximal de réducteurs. –
Mon entrée est la sortie d'un autre travail mapreduce. Le nombre de fichiers de sortie par un travail mapreduce est égal au nombre de tâches de réducteur utilisées. Le nombre maximal de tâches redcuer est égal à la capacité de la tâche de réduction du cluster. Dans ce scénario, exécuter un travail mapreduce, puis fractionner un fichier, puis exécuter un autre travail mapreduce ne correspond pas à la solution. – TheHat