Spark: Tri RDD à partir de plusieurs fichiers sans utiliser de recueillir

Question

j'ai « fichiers téléchargés » N à partir d'un certain répertoire dans un seul RDD

val data = sc.textFile("file:///myPath/*.txt") 

Par exemple mes 2 fichiers contiennent 5 lignes chacune.

Fichier 1

A 
B 
C 
D 
E 

Fichier 2

F 
G 
H 
I 
J 

Si j'ajoute un sortBy à mon code:

val sortedData = data.sortBy(x => x) 

Je ne reçois pas mes données triées, mais juste un hasard RDD:

J 
B 
C 
E 
A 
D 
G 
F 
H 
I 

Collect pourrait me aider, mais

1) ce n'est pas idéal pour les grands RDD

2) au lieu d'un RDD, elle retourne un tableau (que je devrais re-paralléliser)

Merci à avancer

FF

Answer 1

vous pouvez utiliser la méthode de l'union si vous avez plusieurs RDD:

val rdd = rdd1.union(rdd2) 

Cela va agréger les deux rdds et ensuite vous pouvez trier sur ce nouveau rdd.

Mais dans votre cas, vous pouvez lire toutes les données dans le même rdd et ensuite trier.

EDIT:

J'ai créé 2 fichiers contenant fichier1 et fichier2 et je l'ai fait ce qui suit: