Comment puis-je importer et exporter facilement et facilement des données de grande taille dans .NET?

Question

Quel serait le meilleur format de données (XML, base de données, etc.) pour les données de grande taille lorsque nous souhaitons les charger (importer) facilement et efficacement dans des objets métier dans .NET?

Je veux charger toutes les données en une fois et créer tous les objets métier. Les données doivent avoir une sorte de "schéma" pour permettre à d'autres personnes de le créer.

Notez également que je souhaite faciliter le processus de création des classes métier à partir du schéma spécifique des données (peut être un schéma XSD, un schéma de base de données, etc.). J'ai essayé deux approches, dont aucun ne satisfaisant: entièrement prouvé

1. XML, xsd.exe ou un outil équivalent (comme Xsd2Code) pour générer les classes d'affaires et la cartographie. Pour les données volumineuses, la taille du magasin XML devient un problème.

2. Database (CE SQL Server), tirant parti de l'Entity Framework pour créer les classes d'affaires et la mise en correspondance: lors des premiers essais, pour augmenter la taille de la base de données, EF était de sérieux problèmes (problèmes de performance et de exceptions de mémoire).

Ce que je veux obtenir (chargement de grandes données d'affaires en mémoire en une seule fois) semble « standard » (ou est-ce vraiment?), Mais je ne peux pas trouver un moyen efficace et propre à le faire.

Answer 1

Jetez un coup d'œil à XML Serialization dans le framework .NET. J'utilise ceci avec un projet d'échange de données et .NET prend en charge la sérialisation et la désérialisation des informations dans et à partir d'objets avec très peu de code. C'est peut-être le chemin que vous voulez prendre. Editer: Je vois que vous avez déjà joué avec xsd.exe, vous pouvez utiliser un db pour stocker le XML dans une colonne dans un tableau pour une récupération facile. Nous le faisons aussi dans le projet actuel. Nous recevons du code XML d'une source tierce, nous le stockons donc dans une table, nous le validons par rapport au schéma, puis nous le lisons dans des objets .NET générés à partir d'un fichier .xsd en utilisant l'approche xsd.exe. Je ne suis pas sûr de la taille de vos données, mais cette approche fonctionne bien pour nous.

Answer 2

Votre question est en fait un peu vague, donc je peux seulement répondre avec mon instinct. Le stockage des données concerne les bases de données. Vous parlez d'objets métier, donc utiliser un outil OR/M est un choix logique. Puisque vous êtes dans .NET, Entity Framework est un choix logique.

Il ne me semble pas que Entity Framework devrait causer des problèmes autour de la mémoire que d'autres solutions ne vous donneront pas. Je pense que vos problèmes de MOO sont causés par une mauvaise utilisation de l'outil ou peut-être d'autres problèmes. Si vous continuez à avoir des problèmes, s'il vous plaît poser une question spécifique sur ce problème, ici à SO.

Bonne chance.

Answer 3

Si vous avez XML et SQLDatabases, vous pouvez essayer LINQ. Utilisez le programme SQLMetal pour générer automatiquement des classes correspondant à vos tables SQLDatabase. Si vous avez des relations dans votre base de données, elles sont également conservées dans le modèle objet généré par SQLMetal.