Je veux créer une application Java qui exécute un travail SQoop, effectue des opérations HDD et modifie les métadonnées dans Hive.Comment puis-je créer une application sur la pile HDP 2.6.1.0
Pour atteindre tout cela, j'ai créé un projet maven, mais je rencontre des problèmes de dépendance tout le temps.
Quelqu'un peut-il me donner un exemple pom.xml, afin que je puisse commencer à écrire mon application?
Merci!
<repository>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
<id>hortonworks.extrepo</id>
<name>Hortonworks HDP</name>
<url>http://repo.hortonworks.com/content/repositories/releases</url>
</repository>
<repository>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
<id>hortonworks.other</id>
<name>Hortonworks Other Dependencies</name>
<url>http://repo.hortonworks.com/content/groups/public</url>
</repository>
section Ajouter <dependency> par exemple, hadoop-common:2.7.3.2.5.0-37 où c'est la version Hadoop + HDP version
qui dépendances ai-je besoin, par exemple pour la lecture et l'écriture de fichiers HDFS ? J'ai des problèmes, y compris hadoop-core. il n'y a pas de version 2.7.3.2.5.0-37 dans le référentiel. Lequel de l'existant devrais-je utiliser? – Joha
Vous pouvez utiliser hadoop-common, mais il y a aussi hadoop-client et hadoop-hdfs. De plus, puisque vous êtes sur un cluster 2.6, vous n'utiliserez pas une version 2.5 de toute façon. –
Vous pouvez parcourir cette URL directement pour trouver les versions http://repo.hortonworks.com/content/groups/public/org/apache/hadoop/hadoop-commun / –