2017-06-04 2 views
0

Je travaille avec Zeppelin (0.7.1) sur Spark (2.1.1) sur mon localhost, et j'essaie d'ajouter des valeurs de configuration aux tâches que je cours.Configuration Zeppelin et Spark

Plus précisément, j'essaie de définir la valeur de es.nodes pour elasticsearch-hadoop.

J'ai essayé d'ajouter la clé et la valeur à la configuration de l'interpréteur, mais cela n'apparaissait pas dans sc.getConf. En ajoutant à la clé de configuration "args" de l'interpréteur, la valeur de "--conf mykey: myvalue" ne s'est pas enregistrée également. N'est-ce pas ce que la configuration de l'interpréteur d'étincelles est supposée faire?

+0

Bonjour, Avez-vous essayé d'utiliser 'sc.setConf'? https://www.elastic.co/guide/fr/elasticsearch/hadoop/current/spark.html#spark-native-cfg – 1ambda

+0

AFAIK Zeppelin crée le sparkcontext seul et je ne peux pas le recréer dans le paragraphe, ni puis-je ajouter des drapeaux de configuration après coup. Si quelqu'un a ce travail s'il vous plaît faites le moi savoir. – Oren

Répondre

0

Apparemment, il s'agit d'un changement intentionnel dans Zeppelin, implémenté il n'y a pas longtemps ... Il autorise uniquement les propriétés spark. * À déléguer à la SparkConf. J'ai soumis un commentaire pour changer cela, car je crois que c'est problématique. https://github.com/apache/zeppelin/pull/1970