Exploser colonne avec tableau de tableaux - PySpark

Question

J'ai une colonne avec des données comme ceci:

[[[-77.1082606, 38.935738]] ,Point] 

Je veux diviser comme de:

column 1   column 2  column 3 
-77.1082606  38.935738   Point 

Comment est-ce possible en utilisant PySpark, ou bien Scala (Databricks 3.0)? Je sais comment faire exploser des colonnes, mais pas diviser ces structures. Merci!!!

EDIT: Voici le schéma de la colonne:

|-- geometry: struct (nullable = true) 
| |-- coordinates: string (nullable = false) 
| |-- type: string (nullable = false 

Answer 1

Vous pouvez utiliser regexp_replace() pour se débarrasser des crochets, puis split() la chaîne résultante par la virgule dans des colonnes séparées.

from pyspark.sql.functions import regexp_replace, split, col 

df.select(regexp_replace(df.geometry.coordinates, "[\[\]]", "").alias("coordinates"), 
      df.geometry.type.alias("col3")) \ 
    .withColumn("arr", split(col("coordinates"), "\\,")) \ 
    .select(col("arr")[0].alias("col1"), 
      col("arr")[1].alias("col2"), 
     "col3") \ 
    .drop("arr") \ 
    .show(truncate = False) 
+-----------+----------+-----+ 
|col1  |col2  |col3 | 
+-----------+----------+-----+ 
|-77.1082606| 38.935738|Point| 
+-----------+----------+-----+