C# Séparer efficacement les tâches entre les cœurs

Question

Je travaille sur une petite simulation qui s'exécute sur mon poste de travail à 8 cœurs. La simulation consiste à modéliser les interactions entre un grand nombre de nœuds indépendants. Pendant une phase, j'ai besoin d'effectuer une série d'opérations atomiques simples à chaque nœud en parallèle. J'ai utilisé Parallel.ForEach de System.Threading.Tasks pour appliquer l'opération simultanément à chaque nœud dans la liste de tous les nœuds.

Cela a bien fonctionné pour les 100 à 500 nœuds que j'ai utilisés pour les tests. La charge était très bien équilibrée avec tous les noyaux constamment utilisés. Malheureusement, lorsque je tente d'exécuter la simulation avec l'ensemble de données principal (plus de 5000 nœuds), tout va mal. Les 8 coeurs restent inactifs la plupart du temps, atteignant 100% toutes les quelques secondes, puis revenant à 1% d'utilisation. Après quelques minutes, une exception OutOfMemoryException est levée et le programme se bloque.

Je ne suis pas complètement sûr de ce qui ne va pas, mais reste suspect que mon code actuel engendre beaucoup plus de threads que ce qui serait optimal pour la tâche. Je pense que la méthode idéale serait que le modèle détecte le nombre de cœurs disponibles N, partitionne la liste des nœuds en N segments, puis génère N threads, donnant à chaque thread une partition séparée de la liste.

Ce que je voudrais demander, c'est si c'est une bonne solution au problème, existe-t-il de meilleurs, et comment devrait-il être implémenté en C#? Tous les conseils ou commentaires sont les bienvenus.

EDIT: Code échantillon demande

Parallel.ForEach(listOfNodes, tempNode => 
{ 
    tempNode.foo(); 
}); 

<snip> 

void foo() 
{ 
    foreach(myType bar in listOfmyType) 
    { 
     if (bar.isActive) 
      setNodeActive(); 
    } 
} 

Answer 1

Voir ce fil, qui porte sur la limitation du nombre de threads qui Parallel.For utilise pour éviter la famine de mémoire:

http://connect.microsoft.com/VisualStudio/feedback/details/534571/parallel-foreach-may-create-an-inordinate-number-of-threads

Je voudrais essayer la mise ParallelOptions.MaxDegreeOfParallelism à environ 500, et de voir ce qui se passe.

Answer 2

Je pense que la méthode idéale serait pour le modèle pour détecter le nombre de noyaux disponibles N, partitionner la liste des noeuds en segments N, puis engendrer N threads, donnant à chaque thread une partition distincte de la liste.

Ce qui est exactement ce que fait Parallel.ForEach, donc il doit y avoir un autre problème.

Il va être très difficile de trouver un meilleur système (gestion des fils). Mais vous pouvez utiliser des planificateurs personnalisés dans la bibliothèque de tâches.