0
Comme les RDD ont collectAsync(), existe-t-il un moyen de collecter un jeu de données de manière asynchrone dans Spark?Collecter un dataset dans Spark de manière asynchrone
A
Répondre
-2
Quelqu'un a déjà donné une réponse ici, S'il vous plaît vérifier le lien
what is the difference between spark javardd methods collect() & collectAsync()?
0
oui collectAsync() est la manière de recueillir un ensemble de données de manière asynchrone.
En opération RDD, collectAsync() n'a pas de latence d'un autre côté collect().
val value = rdd.collect() //RDD elements will be copied to spark driver
val value = rdd.collectAsync() //no copy here
value.get() //Now, RDD elements will be copied to spark driver
+0
Merci pour votre réponse. En fait, je suis à la recherche d'une fonction de jeu de données, pas de RDD. –
Avez-vous ouvert ce lien? ce que j'ai dit est de vérifier le lien – learner
je l'ai fait. Il indique la différence entre 'collect' et' collectAsync'. Vous avez assez de réputation pour commenter. Si vous pensez qu'il s'agit d'un doublon, vous le commentez sur la question et vous le marquez comme tel. – philantrovert