Stockage des données dans des fichiers personnalisés

Question

Je fabrique un générateur de combinaisons. Pour de petites quantités d'éléments, ce n'est pas un problème pour l'ordinateur que les données soient stockées dans la mémoire RAM à la place dans un fichier. Mais lorsque le nombre d'éléments augmente, mon ordinateur manque de mémoire (l'exception OutOfMemoryException se produit). Les combinaisons sont des nombres stockés dans des listes, qui sont actuellement stockés dans une autre liste.

Mais ce n'est que la première étape - le générateur fonctionne correctement. Je veux que les données soient stockées dans un fichier, d'où un programme différent pourra extraire les combinaisons dont il a besoin. La plupart du temps, je dois stocker les données dans un fichier séparé, car le générateur devra être capable de créer des combinaisons de plus en plus grandes à l'avenir. L'ordinateur devra lire certaines parties des données, sans les faire toutes dans la mémoire temporaire, car c'est impossible.

Je ne souhaite pas transformer les données en texte et, le cas échéant, convertir le texte en données. Je pense que cela va ralentir les choses à cause des conversions. Je veux que les listes soient stockées dans un fichier personnalisé, à partir duquel le programme peut directement extraire les données sans aucune conversion.

Answer 1

Vous pouvez utiliser quelque chose comme une structure de données persistante à la place, cela réduira la quantité de mémoire nécessaire à votre application, sans trop changer le code actuel. Jetez un oeil à cette question:

Looking for a simple standalone persistent dictionary implementation in C#

il y a beaucoup de ressources qui font que, notamment this answer semble pointer vers des liens très intéressants:

Answer 2

Il y a une bonne écriture sur la façon de sérialiser une liste <> dans un fichier à http://www.switchonthecode.com/tutorials/csharp-tutorial-serialize-objects-to-a-file

Answer 3

Il y a une tonne d'options disponibles dont je vais décrire brièvement quelques-unes.

• Utilisez une base de données. De votre description, cela ne ressemble pas à un bon choix, mais il sera le plus flexible pour tous les clients relativité rapide et efficace de stockage. Utilisez l'un des sérialiseurs .net de votre description. Le sérialiseur binaire sera votre meilleur choix. Les sérlizers offrent beaucoup d'avantages relativité rapide et cuit en .net avec support intégré et très facile à utiliser.

• Utilisez un format binaire personnalisé. Ce sera l'option la plus rapide surtout si vous le combinez avec un fichier mappé en mémoire. Cependant, les formats binaires peuvent être difficiles à utiliser et faciles à bousiller.

Answer 4

Si vous voulez vraiment stocker vos données dans un fichier, vous pouvez utiliser la classe BinaryFormatter. C'est probablement le moyen le plus efficace de sérialiser les objets de données en flux binaire.

Mais je ne vous recommanderais pas de générer des combinaisons de cette manière si seulement vous n'avez pas besoin de les stocker en même temps et de les charger longtemps après cela. Il est préférable d'utiliser des combinaisons paresseuses de génération. Un par un, complètement généré sans avoir besoin de "générer de plus grandes combinaisons dans le futur" (générer les "plus grandes" combinaisons nécessaires une par une - vous pourriez changer un peu votre algorithme de génération - il y a déjà beaucoup de réponses)