Hadoop CDH4 et Eclipse Juno

Question

Est-ce que quelqu'un a réussi à construire un plugin eclipse pour Juno par rapport à l'installation de CDH4?

J'ai vu CDH3 partout sur le net. Vous recherchez CDH4. Merci beaucoup.

Answer 1

Je ne sais pas si vous faites référence au plugin Hadoop Eclipse ou à un plugin pour développer du code contre CDH4. Je vais répondre aux deux questions.

développement contre CDH4 à Juno: De loin, la meilleure façon d'écrire des applications contre les composants CDH4 dans Eclipse (toute version), est à l'aide m2eclipse [1] et en ajoutant le dépôt Maven Cloudera à votre pom.xml. En fait, une partie importante des gens à Cloudera (y compris moi-même), le font régulièrement. Récemment, un de nos ingénieurs (Natty) a écrit un article de blog sur le démarrage de CDH4, Maven et Eclipse [2] (et d'autres IDE). Sinon, rien de spécial n'est requis pour écrire des applications contre CDH4, sauf pour les JAR. Vous pouvez également parcourir le référentiel Cloudera Maven ici [3].

Le plugin Hadoop: Il y a longtemps, il existait un plugin pour Eclipse qui permettait l'exécution de tâches MR et d'autres bits. Il n'a cependant pas été maintenu depuis très longtemps (au moins deux ou trois ans maintenant). Je ne pense pas que quelqu'un l'ait jamais mis à jour pour travailler avec Juno, sans parler de Juno lui-même.

Espérons que cela aide.

[1] http://bit.ly/UUGmlB [2] http://bit.ly/O6rkp6 [3] http://bit.ly/UUGwcC

Answer 2

J'ai suivi les instructions données à: http://iredlof.com/part-4-compile-hadoop-v1-0-4-eclipse-plugin-on-ubuntu-12-10/

Système: Local: Windows 7, Eclipse Juno (4.2.2), Hadoop -1.2.1. À distance: Debian 7.1 avec la même version de hadoop.

Je devrais mentionner que j'ai construit le plugin contre vanilla hadoop-1.2.1 fraîchement téléchargé à partir d'apache.

Tout ne fonctionne pas avec le plugin: je peux ajouter un nouvel emplacement MR (distant dans mon cas), je peux parcourir/uploader/télécharger/supprimer des fichiers depuis DFS, mais MAIS je ne peux pas exécuter mon code. Exécutez vers Hadoop). La console écrit "ClassNotFoundException: WordCountReducer"

Une bonne chose est que le fichier jar généré par eclipse peut être téléchargé manuellement sur le maître MR et démarré à partir de la ligne de commande.

Answer 3

Vous pouvez obtenir le plugin Hadoop Eclipse sur ce dépôt GitHub. https://github.com/winghc/hadoop2x-eclipse-plugin.

Un post introduit ici comment intégrer CDH5 et Eclipse Luna. http://speedy-elephant.blogspot.com/2015/08/the-real-getting-started-guide-cloudera.html