Comment générer une colonne ID GUID dans Spark qui est de type entier

Question

Je sais que je peux faire UUID.randomUUID.toString pour attacher un ID à chaque ligne dans mon Dataset mais j'ai besoin que cet identifiant soit Long puisque je veux utiliser GraphX. Comment est-ce que je fais ça dans Spark? Je sais que Spark a monotonically_increasing_id() mais c'est seulement pour l'API DataFrame - qu'en est-il des Datasets?

Answer 1

Nous pouvons le faire en laissant tomber dans dataframes:

case class Row(id: Long, name: String .....) 

val ds: Dataset[Row] = .... 

val ds2 = ds.withColumn("id", monotonically_increasing_id()).as[Row]