Emploi Spark Errored avec: Trop d'éléments pour créer une puissance définie 34

Question

essaie d'exécuter un travail d'étincelle dans mesos CLUSTER interrogation des données élastiques, en utilisant l'interrogation quelque chose comme esJsonRDD ceci: Fetching esJsonRDD from elasticsearch with complex filtering in Spark , et a fonctionné très bien pour le groupe multi -node groupe élastique avec moins de 32 nœuds. Comme les noeuds dans l'élastique a augmenté, les emplois ne parviennent pas à exception ci-dessous:

org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Too many elements to create a power set 37 

comme mentionné dans https://github.com/elastic/elasticsearch-hadoop/issues/737

Am en utilisant 2.3.4 élastique, est-il solution de contournement pour la même version de l'élastique? Voici mes dépendances de Gradle de mon travail Spark actuel.

compile group: 'org.elasticsearch', name: 'elasticsearch-spark_2.11', version: '2.4.5' 
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.0.0' 
compile group: 'org.elasticsearch', name: 'elasticsearch', version: '2.3.4' 

Answer 1

Changé la version elasticsearch-spark-5.5.0 comme mentionné dans https://github.com/elastic/elasticsearch-hadoop/issues/737 et cela a fonctionné.

compile group: 'org.elasticsearch', name: 'elasticsearch-spark-20_2.11', version: '5.5.0'