44: erreur: la valeur lue n'est pas membre de l'objet org.apache.spark.sql.SQLContext

Question

J'utilise Spark 1.6.1 et Scala 2.10.5. J'essaie de lire le fichier csv à travers com.databricks. Lors du lancement de l'étincelle, j'utilise également les lignes suivantes:

spark-shell --packages com.databricks: spark-csv_2.10: 1.5.0 --driver-class-chemin d'accès à/sqljdbc4.jar et ci-dessous le code complet

import java.util.Properties 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkConf 
import org.apache.spark.sql.SQLContext 


val conf = new SparkConf().setAppName("test").setMaster("local").set("spark.driver.allowMultipleContexts", "true"); 
val sc = new SparkContext(conf) 
val sqlContext = new SQLContext(sc) 

import sqlContext.implicits._ 

val df = SQLContext.read().format("com.databricks.spark.csv").option("inferScheme","true").option("header","true").load("path_to/data.csv"); 

Je reçois ci-dessous erreur: -

erreur: valeur lue est pas membre de l'objet org.apache.spark.sql.SQLContext, et le «^"pointe vers" SQLContext.read(). format "dans le message d'erreur.

J'ai essayé les suggestions disponibles dans stackoverflow, ainsi que d'autres sites. mais rien ne semble fonctionner.

Answer 1

SQLContext signifie accès aux objets - méthodes statiques en classe.

Vous devez utiliser sqlContext variables, car les méthodes ne sont pas statiques, mais sont en classe

Alors code doit être:

val df = sqlContext.read.format("com.databricks.spark.csv").option("inferScheme","true").option("header","true").load("path_to/data.csv");