Garbage collection avec Scala avenir

Question

J'ai un tas de fichiers XML que je suis en train de traiter en parallèle. Mon code scala (2.9.2) en utilisant le futur commence bien mais finit par manger près de 100% du 32G que j'ai sur ma machine. Cela ne se produit pas lorsque je fais cela séquentiellement, donc je suppose qu'il y a quelque chose qui ne va pas avec la collecte des ordures dans l'utilisation de futures scala.

Voici une version allégée de mon code. Quelqu'un peut-il me dire ce qui ne va pas? ETA: Ok, j'ai résolu ceci mais je n'ai toujours aucune idée pourquoi cela fait une différence.

J'ai extrait la majeure partie du code dans les boucles internes, puis l'ai redécoupé. Et a sorti l'instanciation de l'analyseur du futur. L'utilisation de la mémoire reste stable à 17%. Quelqu'un a-t-il une idée de la raison pour laquelle cela ferait une différence?

est ici une version simplifiée de ce que je faisais:

def process(arglist...) = yada 

val tasks = filenameGroups.map { 
    fg => 
    val parser = new nu.xom.Builder() 
    scala.actors.Futures.future { 
     process(fg, parser) 
    } 
} 

val pairs = tasks.par.flatMap(_.apply) 

Answer 1

Futures ne peut pas vraiment prédire le nombre de threads que vous voulez ou la quantité de mémoire calculs prendra, il est donc généralement votre responsabilité de mettre les calculs de manière appropriée sérialisés à l'intérieur d'un nombre modeste d'avenir. En particulier, si vous utilisez une machine à 8 cœurs, vous ne voulez probablement pas grouper beaucoup plus petit que someStringListOfFilepaths.length/8 (moins si vos fichiers sont si gros que vous ne pouvez pas avoir 8 en mémoire à la fois). Vous pouvez utiliser l'astuce Java standard pour inspecter le nombre de cœurs, covered on SO et bien d'autres endroits, si vous voulez l'adapter à chaque machine sans avoir à y penser. (Pourrait également inspecter Runtime.getRuntime.maxMemory dans le cas où vous êtes sur une machine avec beaucoup de cœurs et pas beaucoup de RAM (ou pas beaucoup allouée pour la VM).)

(Incidemment, dans votre exemple minimal il y a à la fois de la paresse et de l'avenir, mais la paresse ne fait rien pour vous.) Les contrats à terme ne sont déjà pas exécutés, donc retarder l'instanciation des futurs ne vous aidera probablement pas.)

vous avez 200k fichiers, vous obtiendrez 200k résultats, et en fonction de la taille d'un résultat, cela pourrait vous faire perdre beaucoup de mémoire. Probablement pas 32G, mais qui sait ce qu'il y a dans les fichiers?