Lecture de csv comme trame de données dans l'étincelle 1.6

Question

J'ai spark 1.6 et j'essaie de lire un fichier csv (ou tsv) en tant que trame de données. Voici les mesures que je prends:

scala> val sqlContext= new org.apache.spark.sql.SQLContext(sc) 
scala> import sqlContext.implicits._ 
scala> val df = sqlContext.read 
scala> .format("com.databricks.spark.csv") 
scala> .option("header", "true") 
scala.option("inferSchema", "true") 
scala> .load("data.csv") 
scala> df.show() 

<console>:35: error: value show is not a member of org.apache.spark.sql.DataFrameReader df.show() 

La dernière commande est censé afficher les premières lignes de la trame de données, mais je reçois le message d'erreur. Toute aide sera grandement appréciée.

Merci @

Answer 1

On dirait des fonctions que vous n'êtes pas chaînés correctement et il est tentant de courir « show() » sur le val df, qui est une référence à la classe DataFrameReader. Si je lance ce qui suit, je peux reproduire votre erreur:

val df = sqlContext.read 
df.show() 

Si vous restructurez le code, il travaillerait:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("data.csv") 
df.show() 

Answer 2

en Java d'abord ajouter la dépendance dans le fichier pom.xml et exécuter suivant code pour lire le fichier csv.

<dependency> 
      <groupId>com.databricks</groupId> 
      <artifactId>spark-csv_2.10</artifactId> 
      <version>1.4.0</version> 
     </dependency> 

Dataset<Row> df = sparkSession.read().format("com.databricks.spark.csv").option`enter code here`("header", true).option("inferSchema", true).load("hdfs://localhost:9000/usr/local/hadoop_data/loan_100.csv"); 

Answer 3

Utilisez les commandes suivantes à la place:

val sqlContext = new SQLContext(sc); 

Il devrait résoudre votre problème.