Foreach Deadlock dans Scala

Question

J'ai quelques problèmes avec une opération foreach: le programme ne se termine jamais et c'est comme si il était dans l'impasse sur cette ligne.

C'est la ligne de code du programme est bloqué sur, où j'ai d'imprimer le premier élément du rddData pour chaque élément de rddUserData:

rddUserData.foreach(r => println(trasformToIndexed().lookup(0)(0)._2.toDouble)) 

Voici le code de la fonction trasformToIndex:

def trasformToIndexed(): RDD[(Long, ((String, String), Int))] = { 
     val withIndex = rddData.zipWithIndex() 
     val indexKey = withIndex.map{case (k,v) => (v,k)} 
     indexKey 
    } 

J'ai aussi essayé de cette façon, en utilisant withouth zipWithIndex, mais tournant le RDD dans une liste, puis obtenir le premier élément, mais il ne fonctionne pas non plus:

rddUserData.foreach(r => println(rddData.collect().toList(0)._2).toDouble) 

La seule façon d'atteindre mon but est de parcourir la rddUserData par un for statement, et faire les mêmes opérations.

val listReaction = rddUserData.collect().toList 
for(i<-0 to listReaction.size-1){ 
    println(println(rddData.collect().toList(0)._2).toDouble) 
} 

Cependant, je voudrais le résoudre avec une déclaration foreach.

Answer 1

Mon problème était l'accès de rddData à l'intérieur du foreach de rddUserData. Évidemment, cela n'est pas possible à l'intérieur d'une fermeture.

Quoi qu'il en soit, je posterai ma solution ici:

1. J'ai créé une carte pour le rddData; Je l'ai accédé à l'intérieur du foreach.

 
val map = rddData.collect().toMap 
rddUserData.foreach(println(rddData.get("someKey")).toDouble) 

La fonction get retourne un objet Certains, de sorte que vous devez déballer.