J'ai développé des tâches MR utilisant java et hadoop 1.0.1. Cependant, EMR prend en charge uniquement jusqu'à Hadoop 0.20. Est-il possible d'exécuter des tâches Hadoop 1.0.1 sur EMR ou dois-je rétrograder ma pile de bibliothèque pour être conforme à la version hadoop d'EMR?Prise en charge des tâches Hadoop 1.0.1 sur Amazon EMR
Dépend si vous utilisez des classes spécifiques 1.0.1 ou non. Les classes principales Mapper et Reducer (les deux nouveaux et anciens types d'API) n'ont pas changé entre 0.20 et 1.0.1.
Vous pouvez essayer de changer votre dépendance hadoop à 0.20.2 et reconstruire votre pot de travail MR - s'il n'y a pas d'erreurs de compilation, vous êtes assez proche (il peut y avoir quelques corrections de bogues entre 0.20 et 1.0.1 mais Imaginez que vous serez ok). Si vous trouvez que votre travail ne compile pas et que certains formats d'entrée/sortie ne sont pas disponibles en 0.20 (comme certaines entrées/sorties multiples), vous pouvez vérifier la source Hadoop pour 1.0. 1 (ou bien la source de Cloudera 0.20.2) pour voir si vous pouvez 'backport' les formats manquants et les ajouter ensuite dans votre pot de travail.
N'hésitez pas à renvoyer les erreurs de compilation dans vos questions d'origine pour que les gens puissent commenter les solutions possibles.