Stockez environ 120 colonnes structure de données plat à Spark Parquet Scala

Question

Je suis en train de stocker une structure de données à plat avec environ 120 colonnes en tant que fichier de parquet dans Spark en utilisant Scala. Voici comment j'ai décidé d'y aller, besoin de quelques suggestions ou idées pour le faire mieux, car pour moi, il semble un peu maladroit actuellement.

1. Créer une ségrégation logique de classe de cas sur la base des données
2. Créez une classe composite de cas qui inclurait toutes les classes de cas ci-dessus
3. Utilisez Spark éclatez pour diviser des colonnes composites à des entités individuelles (On dirait que l'étincelle d'exploser fonctionne uniquement sur Seq/Array/List, donc je suis obligé de stocker les éléments de la classe case comme Seq à l'étape 2)
4. Écrire dans Parquet.

Des idées pour le faire mieux?

Answer 1

Vous ne voulez pas dire explode. Explode crée de nouvelles lignes. Vous pouvez diviser une colonne StructType en plusieurs colonnes avec une seule instruction select.

Comme ceci:

case class Act(a: Int, b: Seq[String]) 
case class Boo(a1: Int, b1: String) 
case class C(a: Act, b: Boo) 

val df = Seq(C(Act(1, Seq("test")), Boo(2, "this is"))).toDF 

df.show 
+--------------------+-----------+ 
|     a|   b| 
+--------------------+-----------+ 
|[1,WrappedArray(t...|[2,this is]| 
+--------------------+-----------+ 

df.printSchema 
root 
|-- a: struct (nullable = true) 
| |-- a: integer (nullable = false) 
| |-- b: array (nullable = true) 
| | |-- element: string (containsNull = true) 
|-- b: struct (nullable = true) 
| |-- a1: integer (nullable = false) 
| |-- b1: string (nullable = true) 


df.select($"a", $"a.a", $"a.b", $"b", $"b.a1", $"b.b1").show 
+--------------------+---+------+-----------+---+-------+ 
|     a| a|  b|   b| a1|  b1| 
+--------------------+---+------+-----------+---+-------+ 
|[1,WrappedArray(t...| 1|[test]|[2,this is]| 2|this is| 
+--------------------+---+------+-----------+---+-------+