Nécessaire spark-assembly-1.5.2.-hadoop2.7.jar pour le flux de travail Spark -Oozie sur HDP 2.3.2

J'essaye de programmer le travail d'étincelle 1.5.2 sur oozie 4.2.0 (HDP 2.3.x). Spark 1.5.2 a été installé en externe. Je n'utilise pas la version par défaut fournie par hortonworks. Je fais référence ci-dessous poste pour mettre cela en place.Nécessaire spark-assembly-1.5.2.-hadoop2.7.jar pour le flux de travail Spark -Oozie sur HDP 2.3.2

https://community.hortonworks.com/questions/7014/oozie-sparkaction-throwing-javalangnosuchmethoderr.html

Je me bats pour trouver ci-dessous des bocaux.

-spark-ensemble 1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar

-spark-exemples-1.5.2.2.3.4.0-3485-hadoop2 .7.1.2.3.4.0-3485.jar

Si vous pouvez m'aider avec quelques pointeurs pour trouver/télécharger des fichiers ci-dessus, ce sera une aide précieuse pour commencer.

Source

2016-08-04 nilesh1212

Avez-vous vérifié dans le chemin d'allumage lib

/usr/hdp/current/spark-client/lib

Vous pouvez trouver

[[email protected] lib]$ ls 
datanucleus-api-jdo-3.2.6.jar datanucleus-rdbms-3.2.9.jar    spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar spark-hdp-assembly.jar 
datanucleus-core-3.2.10.jar spark-1.6.1.2.4.2.0-258-yarn-shuffle.jar spark-examples-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar 
[[email protected] lib]$

copier ensuite les libs nécessaires à vos flux de travail lib

eg: hadoop fs -put /usr/hdp/current/spark-client/lib/* YOUR_WORKFLOW/lib

Source

2016-08-05 04:16:41

Ram comme mentionné, nous ne sommes pas en utilisant Spark qui vient avec HDP. La raison en est Spark qui vient avec HDP est la version 1.4.x nous avons besoin d'étincelle 1.5.2 d'où nous avons installé spark 1.5.2 en externe et en utilisant spark 1.5.2 sur Yarn et HDFS. Mais luttant pour programmer le travail d'étincelle sur le suintement. Pour faire l'étincelle 1.5.2work avec oozie j'ai besoin de park-assembly-1.5.2.-hadoop2.7.jar. Si vous utilisez Spark 1.5.2 avec Oozie pouvez-vous s'il vous plaît partager le pot d'assemblage. – nilesh1212

'wget http: // d3kbcqa49mib13.cloudfront.net/étincelle-1.5.2-bin-hadoop2.6.tgz' ' tar -xvf étincelle-1.5.2-bin-hadoop2.6.tgz' 'cd étincelle -1.5.2-bin-hadoop2.6/lib' '[ram @ IP lib] $ ls datanucleus-api-jdo-3.2.6.jar datanucleus-core-3.2.10.jar datanucleus-rdbms-3.2. 9.jar spark-1.5.2-fil-shuffle.jar étincelle-assemblage-1.5.2-hadoop2.6.0.jar étincelle-exemples-1.5.2-hadoop2.6.0.jar [ram @ IP lib] $ ' Ensuite, copiez les libs nécessaires à vos flux de travail lib 'par exemple: Hadoop fs -Mettre/usr/HDP/courant/étincelles client/lib/* YOUR_WORKFLOW/lib' changer ensuite dans job.properties ' oozie.use. system.libpath = false' –

Ram j'ai un pot d'assemblage pour 1.5. 2 Hadoop 2.6 j'ai besoin de Spark 1.5.2 avec hadoop 2.7 – nilesh1212

Nécessaire spark-assembly-1.5.2.-hadoop2.7.jar pour le flux de travail Spark -Oozie sur HDP 2.3.2

Répondre

Questions connexes