Comment aplatir le contenu Spark RDD groupé en lignes individuelles puis enregistrer dans le fichier

Question

J'ai un RDD [(Int, Iterable [Coordinates])] qui a été groupé par clé (index: Int). Coordonnées est une classe avec les membres:

latitude: Double, longitude: Double

Je voudrais créer l'impression ou créer un fichier csv, ce serait sous la forme suivante (une ligne pour chaque point de données):

index,latitude,longitude 

Avec le RDD [(Int, coordonnées)] non regroupées, il a travaillé comme ceci:

val textOutputRDD = initialRDD.map(
    f => f._1.toString() + "," + f._2.latitude.toString() + "," + f._2.longitude.toString()) 
textOutputRDD.saveAsTextFile("TextOutput") 

Comment puis-je réussi à le faire dans ce cas?

Answer 1

Une simple boucle imbriquée fera l'affaire. Ici, je coordonnées approximatives avec une simple paire de doubles:

val rdd = 
    sc.parallelize(
    Seq(
     1 -> Seq((4.1, 3.4), (5.6, 6.7), (3.4, 9.0)), 
     2 -> Seq((0.4, -4.1), (-3.4, 6.7), (7.0, 8.9)) 
    ) 
) 

val csvLike = 
    for ((key, coords) <- rdd; (lat, lon) <- coords) yield s"$key,$lat,$lon" 

for (row <- csvLike) println(row) 

Ce code entraînera la sortie suivante:

2,0.4,-4.1 
2,-3.4,6.7 
2,7.0,8.9 
1,4.1,3.4 
1,5.6,6.7 
1,3.4,9.0 

Modifier

Une autre approche possible consiste à échanger dans la flatMap réelle/map séquence le compilateur transformerait la compréhension for en:

rdd.flatMap { 
    case (key, coords) => 
    coords.map { 
     case (lat, lon) => s"$key,$lat,$lon" 
    } 
} 

Answer 2

Essayez flatmap-

val output = rdd.flatMap(s=>{ 
     val list=List[String]() 
     for (latlon <- s._2) { 
     list.addString(s._1.toString() + "," + latlon.latitude.toString() + "," + latlon.longitude.toString()) 
     } 
     return list 
    }) 
output.save(....)