Compacité de la version Mahout et Spark

Question

J'utilise actuellement Mahout 0.13.0. Lorsque je tente d'utiliser étincelle itemsimilarity je reçois une erreur:

Exception dans le thread "principal" java.lang.NoClassDefFoundError: org/apache/étincelle/SparkConf

Je pense qu'il peut être un problème avec la version Spark , mais je ne trouve pas la version de Spark dont j'ai besoin. J'utilise actuellement Spark 2.1.0. Donc, ma question est, avec quelle version de Spark est compatible avec Mahout 0.13.0?

Answer 1

Il n'y a pas de binaires pour Mahout 0.13.0 sur Spark 2.1/Scala 2,11, mais il est possible de construire Mahout Spark 2.1 (malheureusement, il n'y a pas de profils, doivent tout faire avec des commutateurs D)

vous devez construire effectuer les opérations suivantes:

git clone http://github.com/apache/mahout

cd mahout

mvn clean package -Dspark.version=2.1.0 -Dscala.version=2.11.8 -Dscala.compat.version=2.11

En outre, Pat est correct - la libération devrait arriver très bientôt, aura des binaires.

Answer 2

Je pense qu'il existe un profil maven dans la branche de développement pour construire avec Spark 2.x et Scala 2.11 mais pas d'artefacts publiés jusqu'à 0.13.1 dans une semaine ou deux.

Il est compatible avec les deux, juste trop de combinaisons d'artefacts à rattraper.