J'ai enchaîné 2 mappeurs suivis d'un réducteur. Est-il possible d'écrire les sorties intermédiaires (o/p de chaque mappeur dans la chaîne) vers HDFS? J'ai essayé de définir le OutputPath pour chacun, mais cela ne semble pas fonctionner. Maintenant, je ne suis pas sûr si cela peut être fait du tout. Aucune suggestion?carte de chaîne hadoop/réduire
Le résultat est toujours écrit dans HDFS en tant que fichier de séquence. Mais si vous utilisez un réducteur, ces gars-là ne sont que des fichiers temporaires et ils sont supprimés après la fin du travail. Si vous avez besoin de la sortie de la carte, vous devez enchaîner deux tâches. Un travail sans réducteur et un travail avec un réducteur. Ou si vous avez un peu de talent pour écrire des fichiers hdfs à partir d'une tâche cartographique, c'est également possible.
La première approche est non-codée, mais la seconde est. C'est à vous!
Merci Thomas. La première approche n'a pas besoin de ChainMapper, non? C'est juste 2 emplois distincts? – Meg
oui vous avez raison, vérifiez votre configuration que le nombre de réducteurs du premier travail est mis à zéro –