spark kinesis échouant sur cloudera avec java.lang.AbstractMethodError

Question

ci-dessous est mon fichier POM. Je suis en train d'écrire une étincelle avec le streaming aws Kinesis

<dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-streaming_2.10</artifactId> 
     <version>1.6.0</version> 
    </dependency> 

    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.10</artifactId> 
     <version>1.6.0</version> 
    </dependency> 
    <dependency> 
     <groupId>com.amazonaws</groupId> 
     <artifactId>amazon-kinesis-client</artifactId> 
     <version>1.6.1</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-streaming-kinesis-asl_2.10</artifactId> 
     <version>1.6.0</version> 
    </dependency> 

Je suis face au-dessous exception pendant l'exécution du programme d'étincelle d'allumage sur Cloudera 5,10

17/04/27 05:34:04 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 58.0 (TID 179, hadoop1.local, executor 5): java.lang.AbstractMethodError 
at org.apache.spark.Logging$class.log(Logging.scala:50) 
at org.apache.spark.streaming.kinesis.KinesisCheckpointer.log(KinesisCheckpointer.scala:39) 
at org.apache.spark.Logging$class.logDebug(Logging.scala:62) 
at org.apache.spark.streaming.kinesis.KinesisCheckpointer.logDebug(KinesisCheckpointer.scala:39) 
at org.apache.spark.streaming.kinesis.KinesisCheckpointer.startCheckpointerThread(KinesisCheckpointer.scala:119) 
at org.apache.spark.streaming.kinesis.KinesisCheckpointer.<init>(KinesisCheckpointer.scala:50) 
at org.apache.spark.streaming.kinesis.KinesisReceiver.onStart(KinesisReceiver.scala:149) 
at org.apache.spark.streaming.receiver.ReceiverSupervisor.startReceiver(ReceiverSupervisor.scala:148) 
at org.apache.spark.streaming.receiver.ReceiverSupervisor.start(ReceiverSupervisor.scala:130) 
at org.apache.spark.streaming.scheduler.ReceiverTracker$ReceiverTrackerEndpoint$$anonfun$9.apply(ReceiverTracker.scala:575) 
at org.apache.spark.streaming.scheduler.ReceiverTracker$ReceiverTrackerEndpoint$$anonfun$9.apply(ReceiverTracker.scala:565) 
at org.apache.spark.SparkContext$$anonfun$38.apply(SparkContext.scala:2000) 
at org.apache.spark.SparkContext$$anonfun$38.apply(SparkContext.scala:2000) 
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66) 
at org.apache.spark.scheduler.Task.run(Task.scala:89) 
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:242) 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
at java.lang.Thread.run(Thread.java:745) 

Cela fonctionne parfaitement bien sur EMR4.4 Cependant échoue OdVR. Toute suggestion

Answer 1

Le problème sous-jacent semble être l'utilisation de org.apache.spark.Logging:

NOTE: NE PAS UTILISER cette classe en dehors de Spark. Il est conçu comme un utilitaire interne. Cela sera probablement modifié ou supprimé dans les versions ultérieures.

http://spark.apache.org/docs/1.6.2/api/java/org/apache/spark/Logging.html

Ceci est corrigé en 2.0.0 comme mentionné dans https://issues.apache.org/jira/browse/SPARK-9307.