Compatibilité de la version Hive avec Spark

Question

Après plusieurs tentatives infructueuses pour utiliser ma Hive (1.2.1) avec mon Spark (Spark 1.4.1 construit pour Hadoop 2.2.0), j'ai décidé d'essayer de reconstruire Spark avec Hive. Je voudrais savoir quelle est la dernière version de Hive qui peut être utilisée pour construire Spark à ce stade.

Lors du téléchargement Spark 1.5 source et essayer:

mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Phive -Phive-1.2.1 -Phive-thriftserver -DskipTests clean package 

Je reçois:

The requested profile "hive-1.2.1" could not be activated because it does not exist. 

Toute aide appréciée

Answer 1

Vérifiez votre étincelle 1,5 pom.xml contient la version 1.2.1 ruche par conséquent, je ne pense pas que vous devez spécifier la version de la ruche explicitement. Il suffit d'utiliser mvn sans version de ruche et cela devrait fonctionner.

Answer 2

Je vous recommande de passer par ce tableau de compatibilité: http://hortonworks.com/wp-content/uploads/2016/03/asparagus-chart-hdp24.png