Comment construire Spark 1.1.0 sur Windows 8?

Question

Je tente de construire Spark 1.1.0 Apache sur Windows 8.

J'ai installé toutes les conditions préalables (sauf Hadoop) et a couru sbt/sbt assembly alors que dans le répertoire racine. Après le téléchargement de nombreux fichiers, j'obtiens une erreur après la ligne:

Set current project to root <in build file:C:/.../spark-0.9.0-incubating/>". The error is: 
[error] Not a valid command:/
[error] /sbt 
[error]^

Comment construire Spark sur Windows?

Answer 1

NOTE Veuillez voir mon commentaire sur les différences dans les versions. L'erreur Not a valid command: / provient de sbt qui a été exécutée et a tenté d'exécuter une commande / (en tant que premier caractère de la chaîne /sbt). Cela peut seulement vouloir dire que vous avez le script shell sbt disponible en PATH (éventuellement installé séparément en dehors du répertoire de travail actuel) ou dans le répertoire de travail courant.

Il suffit d'exécuter sbt assembly et il devrait être très bien construit.

Selon the main page of Spark:

Si vous souhaitez construire Spark à partir de zéro, visitez building Spark with Maven.

qui indique clairement que l'outil de construction officiel pour Spark est maintenant Maven (malheureusement).

Vous devriez être en mesure de construire un package Spark avec la commande suivante:

mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package 

Il a bien fonctionné pour moi.