Produit cartésien d'une seule colonne dans Pyspark?

Question

Comme spécifié dans la question je veux faire le cartésien avec juste une colonne de rdd. Exemple:

rdd1: 
id1 A 
id2 B 
id3 C 

Ma sortie doit être:

id1 A A 
id1 A B 
id1 A C 
id2 B A 
id2 B B 
id2 B C 
id3 C A 
id3 C B 
id3 C C 

Answer 1

Vous pouvez faire créer une nouvelle RDD avec seulement la deuxième colonne, rdd2=rdd.map(lambda l: l[1]). Ensuite, faites le cartesian de ces deux RDD:

rdd.cartesian(rdd2).map(lambda v: (v[0][0],v[0][1],v[1]))

Le map est là parce que cartesian retournera les lignes comme ((id1,A),A), et que map convertit à (id1,A,A)