Erreur Scala: la valeur $ n'est pas un membre de l'objet org.apache.spark.api.java.JavaSparkContext

Question

Je suis nouveau sur Spark. Je suis en train d'exécuter le code suivant dans la coquille Spark:

import org.apache.spark.api.java.JavaSparkContext 
import org.apache.hadoop.conf 
JavaSparkContext context = new JavaSparkContext(conf); 

Mais je reçois l'erreur suivante:

<console>:32: error: value context is not a member of object 
org.apache.spark.api.java.JavaSparkContext 
val $ires10 = JavaSparkContext.context 
         ^
<console>:29: error: value context is not a member of object 
org.apache.spark.api.java.JavaSparkContext 
    JavaSparkContext context = new JavaSparkContext(conf); 

Y at-il une déclaration d'importation que je suis absent? J'ai également ajouté

import org.apache.spark.api.java.JavaSparkContext._ 

mais cela ne fonctionnait toujours pas. S'il vous plaît aider.

Answer 1

MISE À JOUR: Que la configuration soit valide ou non est quelque chose que vous aurez à travailler, mais cela répond à l'erreur que vous avez posée dans votre question initiale.

Votre code est (presque) valide Java, mais pas valide Scala. Vouliez-vous dire quelque chose comme ceci:

import org.apache.spark.api.java.JavaSparkContext 

val context = new JavaSparkContext() 

Alternativement, puisque vous utilisez Scala, vous voudrez peut-être essayer ce lieu.

import org.apache.spark.SparkContext 

val context = new SparkContext() 

En ce qui concerne l'erreur que vous signalez, Scala traitera la déclaration JavaSparkContext context comme une référence à un membre nommé context d'un object nommé JavaSparkContext - et non comme une déclaration de variable que dans Java.