Comment faire des opérations de fenêtre glissante dans pyspark?

Question

J'ai une séquence de données, transformant en RDD.

filteredRDD.collect() 

[0, 1, 2, 3, 5, 9] 

I like pour obtenir le delta celui en cours - la valeur précédente, la sortie est [1, 1, 1, 2, 4].

Quel type de fonction de fenêtre avons-nous l'étincelle 1.6?

Answer 1

Ce que vous pouvez faire pour obtenir le résultat souhaité est zipWithIndex

Vous pouvez zipWithIndex votre RDD (appeler RDD1 [Long, Int]) puis

val rdd2 = rdd1.map{case(index, value) => (index + 1, value)} Maintenant, si vous val RDD3 = rdd1.join(rdd2).mapValues(case (a, b) => a -b).values Il s'agit de votre row wise delta. C'est très efficace car cela ne fait pas beaucoup de brassage.

Merci Manas