Quel est le moyen le plus rapide de supprimer des noeuds d'un grand fichier XML en utilisant .net?

Question

Je travaille avec de très gros fichiers XML (100s de MBs). L'arbre est assez simple

<items> 
    <item> 
    <column1>ABC</column1> 
    <column2>DEF</column2> 
    </item> 
    <item> 
    <column1>GHI</column1> 
    <column2>KLM</column2> 
    </item> 
</items> 

je dois analyser ce document et supprimer certains éléments <item>. Jusqu'à présent, la meilleure performance que j'ai obtenue est d'utiliser XmlReader, en mettant en cache chaque <item> en mémoire et de l'écrire en utilisant XmlWriter s'il répond aux critères, et en l'ignorant simplement si ce n'est pas le cas. Y at-il quelque chose que je peux faire pour le rendre plus rapide?

Answer 1

Vous pourriez être en mesure d'économiser une étape en mettant en place une sous-classe de XmlReader dont Read méthode saute sur les item éléments que vous n'êtes pas intéressé à ce moment, vous semblez avoir deux étapes: la lecture et le filtrage du document avec une XmlReader puis en utilisant XmlWriter pour l'écrire sur quelque chose dont vous l'avez probablement lu. Le sous-classement XmlReader élimine cette deuxième étape; vous utilisez le sous-classé XmlReader comme entrée pour votre transformation XSLT ou XmlDocument ou autre, et il ne construit jamais une représentation intermédiaire du document XML filtré.

Answer 2

Vous pouvez utiliser les scripts perl ou shell pour remplacer les éléments requis si vous pouvez écrire une expression régulière rapide pour s'en débarrasser. Cela éviterait de charger le tout dans la mémoire et de l'écrire à nouveau. .

Answer 3

voir si vous pouvez utiliser xpath querys pour déterminer ce que vous voulez et ne voulez pas lire avec cet objet xmldocument .... regardez dans les méthodes suivantes de cette classe SelectSingleNode() qui renvoie un objet XmlNode ... SelectNodes() qui renvoie un objet XmlNodeList .... voir si cela aide ....