0

J'essaye d'obtenir un DSEGraphFrame de mes graphiques DSE en java ou en scala. J'utilise le blog documentation, comme suitCréation de DSEGraphFrames en Java ou Scala en utilisant une SparkSession

//load a graph in Java 
DseGraphFrame graph = DseGraphFrameBuilder.dseGraph("test", spark); 


// load a graph in scala 
val graph = spark.dseGraph("test_graph") 

Ils ont tous deux besoin d'une séance d'étincelle (en scala est implicite). Ma question est comment pouvez-vous créer le SparkSession spark? J'ai essayé déjà créer par moi-même, mais le constructeur n'a pas pu analyser le maître:

val spark = SparkSession 
.builder 
.master("dse://<ip_address>") 
.appName("DseGraphFrames") 
.getOrCreate() 

Répondre

0

Seules les applications lancées avec dse spark-submit peuvent comprendre dse:// adresses maître. Donc, assurez-vous que votre lancement est géré par dse spark-submit

DSE Doc Reference

+0

Je reçois 'WARN 11/08/2017 16:25:58 org.apache.spark.deploy.SparkNodeConfiguration: Impossible de récupérer la configuration dynamique de DSE' et le travail n'est jamais exécuté, il ne démarre jamais. –

+0

Cela signifie que le noeud n'est pas activé pour les analyses ou qu'il y a un autre problème de réseau ou d'authentification – RussS

+0

L'analyse est activée et l'authentification devrait être valide car je peux exécuter des requêtes OLAP Gremlin –