Comment libérer la mémoire?

Question

J'ai la méthode suivante pour faire une boucle dans une table, changer certaines valeurs dans chaque ligne et sauvegarder les chages dans la base de données. Pour accélérer les choses, je récupère des données dans des ensembles de 10 000 lignes. C'est une grande table avec plus de 25 millions d'enregistrements.

Le problème est que mon application ne semble pas libérer de mémoire. J'ai essayé de redéclarer la variable records à nothing ou d'appeler explicitement le garbage collector mais la mémoire reste là. En exécutant le profileur VS10 intégré, je peux voir que le coupable est la méthode system.linq.enumerable.tolist() qui occupe plus de 98% de ma mémoire. Comment puis-je libérer cette mémoire après l'appel à saveChanges?

db = New databaseEntities 
Dim size = 25000000 
Dim stepSize = 10000 
For i = 0 to size Step stepSize 
    Dim sql = (From A In db.table).OrderBy(Function(A) A.Column).Skip(i).Take(stepSize) 
    Dim records As New List(Of table) 
    records = sql.ToList 
    For Each record In records 
    'do some work 
    Next 
    db.SaveChanges() 
    records = Nothing 
    GC.Collect() 
Next 

Answer 1

Le référentiel contient une référence à chaque entité qu'il suit, de sorte que vous ne serez pas en mesure de disposer d'une entité tant que le référentiel est en ligne et de le suivre. Cela signifie que vous devez soit disposer du référentiel, soit détacher chaque entité une fois que vous avez fini de le traiter.

Option 1) si "faire un peu de travail" n'affecte pas l'ordre dans lequel vous retourneriez les enregistrements, vous pouvez déplacer la création de databaseEntities dans la boucle For, et le déclarer avec un bloc using. Cela devrait provoquer la libération de chaque bloc d'entités à chaque fois que la boucle est

Option 2) Si votre opération est essentiellement parallèle, et que ce que vous faites à une entité "table" ne dépend d'aucune autre, alors vous pouvez appeler databaseEntities.Detach (enregistrement) après db.SaveChanges, ce qui permettra au garbage collector de récupérer l'espace de l'entité.

En regardant votre code, je soupçonne que l'une des thse pourrait être utilisé

Answer 2

vous pouvez peut-être essayer ceci: (je ne pas testé)

db.SaveChanges() 
For Each record In records 
    record.dispose ''only if class table got a dispose method 
Next 
records.clear 
records = Nothing 

Answer 3

Je ne suis pas un Linq à l'expert SQL, mais je pense que le DataContext met en cache toutes les lignes que vous avez lu donc vous devez vider le cache ou perdre votre référence au DataContext.

Answer 4

Si vous ne avez pas besoin de mise à jour les entités, utilisez MergeOption.NoTracking. Le contexte ne gardera plus une référence à l'entité, et ne le fera pas non plus.