Tableau groupé en C#

Question

Je dois allouer de très grands tableaux de structures simples (1 Go de RAM). Après quelques allocations/désallocations, la mémoire devient fragmentée et une exception OutOfMemory est levée.

Ceci est inférieur à 32 bits. Je préfère ne pas utiliser 64 bits en raison de la pénalité de performance que je reçois - la même application est 30% plus lente en mode 64 bits. Avez-vous connaissance de certaines implémentations de baies compatibles IList qui allouent de la mémoire en morceaux et pas tous en même temps? Cela permettrait d'éviter mon problème de fragmentation de la mémoire.

Answer 1

Josh Williams a présenté une classe BigArray<T> sur son blog en utilisant un tableau chunked:

BigArray<T>, getting around the 2GB array size limit

Vous trouverez des informations plus utiles dans cette question connexe:

C# huge size 2-dim arrays

Une simple correction ad-hoc pourrait être d'activer le commutateur 3GB pour votre application. Cela permet à votre application d'utiliser plus que la limite de 2 Go par processus de Windows 32 bits. Cependant, sachez que la taille d'objet maximale autorisée par le CLR est toujours de 2 Go. Le commutateur peut être activé à l'aide d'une action post-construit pour votre exécutable principal:

call "$(DevEnvDir)..\tools\vsvars32.bat" 
editbin.exe /LARGEADDRESSAWARE "$(TargetPath)" 

Answer 2

LinkedList travaillait pour vous? http://msdn.microsoft.com/en-us/library/he2s3bh7.aspx

Answer 3

Lors de l'instanciation un tableau, .Net essaie de trouver une partie contiguë de mémoire pour votre tableau. Puisque la limite de mémoire totale pour une application 32 bits est de 2 Go, vous pouvez voir qu'il sera difficile de trouver un tel bloc après plusieurs allocations.

1. Vous pouvez essayer d'utiliser quelque chose comme un LinkedList<T>, afin d'éviter la nécessité d'une allocation contiguë, ou restructurer votre code pour ces petits morceaux (bien que vous ne serez pas complètement sûr cela ne se produira avec un tableau 500Mo aussi). D'autre part, une solution consisterait à instancier cette grande mémoire tampon une seule fois, au début de votre application, puis à implémenter un algorithme qui réutiliserait ce même espace pendant la durée de vie de votre application. Si vous pouvez utiliser IEnumerable au lieu de IList pour transmettre vos données au reste de votre programme, vous pouvez réduire cette liste à l'aide de la méthode LINQ SelectMany. Et à la fin, vous pouvez simplement implémenter l'interface IList dans une classe personnalisée et utiliser plusieurs tableaux plus petits sous le capot.