Scala Spark Dataframe - Comptez le nombre de chaînes pour chaque ligne dans une colonne de tableau

Question

Je suis nouveau dans la programmation Scala et voici ma question: Comment compter le nombre de chaînes pour chaque ligne? Mon Dataframe est composé d'une seule colonne de type Array [String].

friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>] 

Answer 1

Vous pouvez utiliser la fonction size:

val df = Seq((Array("a","b","c"), 2), (Array("a"), 4)).toDF("friends", "id") 
// df: org.apache.spark.sql.DataFrame = [friends: array<string>, id: int] 

df.select(size($"friends").as("no_of_friends")).show 
+-------------+ 
|no_of_friends| 
+-------------+ 
|   3| 
|   1| 
+-------------+ 

---

Pour ajouter une nouvelle colonne:

df.withColumn("no_of_friends", size($"friends")).show 
+---------+---+-------------+ 
| friends| id|no_of_friends| 
+---------+---+-------------+ 
|[a, b, c]| 2|   3| 
|  [a]| 4|   1| 
+---------+---+-------------+