Générer des valeurs distinctes d'une colonne dans une trame de données d'allumage

Question

J'ai une trame de données d'allumage comme ci-dessous

id|name|age|sub 
1 |ravi|21 |[M,J,J,K] 

Je ne veux pas exploser sur la colonne « sous » car il va créer un jeu supplémentaire de lignes. Je veux générer des valeurs uniques à partir de la colonne "sub" et l'assigner à la nouvelle colonne sub_unique.

Ma sortie devrait être comme

id|name|age|sub_unique 
1 |ravi|21 |[M,J,K] 

Answer 1

Vous pouvez utiliser udf

val distinct = udf((x: Seq[String]) => if (s != null) x.distinct else Seq[String]()) 

df.withColumn("subm_unique", distinct($"sub"))