Lire le fichier csv comme trame de données dans l'étincelle

Question

Je suis nouveau à étincelle et j'ai un fichier csv avec plus de 1500 colonnes. J'aime le charger comme un dataframe en étincelle. Je ne suis pas sûr de savoir comment faire cela. Merci

Answer 1

Utilisez ce projet https://github.com/databricks/spark-csv

Il est un exemple de la première page:

import org.apache.spark.sql.SQLContext 

val sqlContext = new SQLContext(sc) 
val df = sqlContext.read 
    .format("com.databricks.spark.csv") 
    .option("header", "true") // Use first line of all files as header 
    .option("inferSchema", "true") // Automatically infer data types 
    .load("cars.csv")