J'essaie de développer une application Spark sur Eclipse. Dans le passé, j'ai réussi à mettre en place des projets Spark Scala sur Eclipse. Maintenant, je voudrais installer une application Java Spark sur Eclipse. Je suppose que j'aurai besoin d'utiliser maven d'une façon ou d'une autre, mais je ne sais pas exactement comment je suis censé l'utiliser. Toute aide serait appréciée. Merci!Développement d'applications Spark Java sur Eclipse
J'ai fini par suivre les instructions pour créer un projet Java Maven pour Spark de here. Après cela, j'ai converti le projet Maven dans un projet Eclipse en exécutant mvn eclipse:eclipse à partir du répertoire racine du projet qui contient pom.xml.
Vous pouvez créer votre projet dans Eclipse en tant que projet Maven, modifiez le pom et ajoutez les dépendances d'étincelles que vous avez besoin (core, mllib, etc.), puis commencer par l'étincelle java examples fourni et étendre refactoring à partir de là en fonction du problème que vous essayer de résoudre. Si vous avez des questions plus précises, je serais heureux de vous aider.
ajouter suivante dépendances pom si vous vous utilisez le streaming d'allumage, kafka et d'autres
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.1</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.10</artifactId>
<version>1.6.1</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.10</artifactId>
<version>$1.6.1</version>
<scope>provided</scope>
</dependency>
En outre, une dernière étape que je devais prendre était d'ajouter étincelle montage -. * Pot dans mon chemin de construction . +1 –