Chargement CSV en étincelle

Question

Je tente le Kaggle Titanic Example en utilisant SparkML et Scala. Je tente de charger le premier fichier de formation, mais je suis en cours d'exécution dans une étrange erreur:

java.io.IOException: Could not read footer: java.lang.RuntimeException: file:/Users/jake/Development/titanicExample/src/main/resources/data/titanic/train.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [44, 81, 13, 10] 

Le fichier est un .csv donc je ne sais pas pourquoi son attendant un fichier parquet.

Voici mon code:

object App { 

    val spark = SparkSession 
    .builder() 
    .master("local[*]") 
    .appName("liveOrDie") 
    .getOrCreate() 

    def main(args: Array[String]) { 

    val rawTrainingData = spark.read 
     .option("header", "true") 
     .option("delimiter", ",") 
     .option("inferSchema", "true") 
     .load("src/main/resources/data/titanic/train.csv") 

// rawTrainingData.show() 
    } 
} 

Answer 1

Je semble avoir eu un conflit avec les versions Scala dans mon pom.xml PAS mon code d'origine. Mon pom.xml avait plusieurs versions de Scala qui causaient apparemment des problèmes. J'ai mis à jour toutes les dépendances qui ont utilisé Scala à la même version en utilisant une propriété dynamique <scala.dep.version>2.11</scala.dep.version> et qui a résolu le problème.

Answer 2

Vous êtes absent format d'entrée. Soit:

val rawTrainingData = spark.read 
    .option("header", "true") 
    .option("delimiter", ",") 
    .option("inferSchema", "true") 
    .csv("src/main/resources/data/titanic/train.csv") 

ou

val rawTrainingData = spark.read 
    .option("header", "true") 
    .option("delimiter", ",") 
    .option("inferSchema", "true") 
    .format("csv") 
    .load("src/main/resources/data/titanic/train.csv") 

Answer 3

Il attend un fichier parquet parce que c'est ce que le default file type. Si vous utilisez Spark < 2.0, vous devez utiliser Spark-CSV. Sinon, si vous utilisez Spark 2.0+, vous pourrez utiliser le DataFrameReader en utilisant .csv(..fname..) au lieu de .load(..fname..).

Answer 4

Vous devez ajouter un jar dépendance à partir de databricks dans votre pom. L'étincelle de version inférieure ne fournit pas d'API pour lire csv. Une fois que vous téléchargez, vous pouvez écrire quelque chose comme ci-dessous ..

val df = sqlContext.read 
.format("com.databricks.spark.csv") 
.option("header", "true") 
// Use first line of all files as header 
.option("inferSchema", "true") 
// Automatically infer data types 
.load("cars.csv") 

Ref url: https://github.com/databricks/spark-csv/blob/master/README.md