Fusion efficace de plusieurs fichiers xml de grande taille en un

Question

J'ai cherché sur le Web et j'ai cherché stackoverflow de haut en bas. Pas de solution. Bien que j'ai trouvé des solutions comment faire cela dans le pur xslt here.

Mais le problème est que le fichier XML résultant aura une taille de plusieurs centaines de Mo. Je dois donc le faire avec SAX en Java. (S'il vous plaît pas de solution xslt, bien que je l'ai marqué avec xslt ;-))

Laissez-moi expliquer avec plus de détails. J'ai plusieurs fichiers xml multiples (InputSteam préférables) qui devraient être analysés. Les fichiers ou les regards de InputStream comme

inputstream1

<root> 
    <doc> 
    <tag>test1</tag> 
    </doc> 
    <doc> 
    <tag>test2</tag> 
    </doc> 
    ... 
</root> 

inputstream2

<root> 
    <doc> 
    <tag>test3</tag> 
    </doc> 
    <doc> 
    <tag>test4</tag> 
    </doc> 
    ... 
</root> 

inputstream1 + inputstream2 + ... + inputstreamN = résultant xml. Cela ressemblera à

<root> 
    <doc> 
    <tag>test1</tag> 
    </doc> 
    <doc> 
    <tag>test2</tag> 
    </doc> 
    ... 
    <doc> 
    <tag>test3</tag> 
    </doc> 
    <doc> 
    <tag>test4</tag> 
    </doc> 
    ... 
</root> 

Est-ce que quelqu'un a une solution ou un lien pour cela? Est-ce possible en implémentant un InputSource personnalisé ou dois-je utiliser un ContentHandler personnalisé? Ou est-ce possible avec joost/stx?

La bonne chose si je pouvais utiliser un ContentHandler serait que je pourrais appliquer quelques transformations mineures (j'ai déjà implémenté cela). Mais le problème est que je ne sais pas un moyen de transmettre plusieurs fichiers ou des années InputStream comme InputSource:

XMLReader xmlReader = XMLReaderFactory.createXMLReader(); 
xmlReader.setContentHandler(customHandler); 
xmlReader.parse(getInputSource()); // only one InputStream possible 

ou devrais-je analyser les InputStreams directement dans mon ContentHandler?

Answer 1

j'ai finalement réussi ce via l'extrait suivant:

finalHandler = new StreamResult(new OutputStreamWriter(System.out)); 
    // customHandler extends DefaultHandler 
    CustomTransformerHandler customHandler = new CustomTransformerHandler(
     finalHandler); 
    customHandler.startDocumentExplicitly(); 
    InputStream is = null; 
    while ((is = customHandler.createNextInputStream()) != null) { 
    // multiple inputStream parsing 
    XMLReader myReader = XMLReaderFactory.createXMLReader(); 
    myReader.setContentHandler(customHandler); 
    myReader.parse(new InputSource(is)); 
    } 
    customHandler.endDocumentExplicitly(); 

L'important était de laisser les méthodes startDocument et EndDocument vide. Toutes les autres méthodes (caractères, startElement, endElement) seront redirigées vers le gestionnaire finalHandler. La méthode customHandler.createNextInputStream renvoie null si tous les flux d'entrée sont lus.

Answer 2

Vous voudrez peut-être jeter un oeil à la version payante de Saxon. Il peut gérer XSLT à la volée sans avoir besoin du DOM complet en mémoire.

Answer 3

Je ne l'ai pas fait moi-même, mais je me suis souvenu avoir vu un article d'IBM developerworks qui semblait avoir rendu cela plutôt facile.

Il est un peu vieux maintenant, mais essayez http://www.ibm.com/developerworks/xml/library/x-tipstx5/index.html

Ceci est StAX au lieu de SAX. Je ne suis pas sûr que les JDK actuels incluent StAX. Sinon, vous pouvez probablement obtenir de http://stax.codehaus.org/

Answer 4

La méthode la plus efficace pour fusionner des fichiers consiste à utiliser la fonctionnalité Couper et Coller au niveau des octets proposée par VTD-XML, AFAIK. Vous prenez les deux fichiers, les analysez dans des objets VTDNav, puis instanciez un objet XMLModifier, récupérez les fragments du second fichier et les insérez dans le premier fichier ... qui doit être beaucoup plus efficace que SAX .. Également le XML résultant obtient une instruction écrite sur un fichier - il n'est pas nécessaire de le stocker en mémoire. Voici le code complet en moins de 20 lignes ...

import com.ximpleware.*; 
import java.io.*; 

public class merge { 
    // merge second.xml into first.xml assuming the same encoding 
    public static void main(String[] s) throws VTDException, IOException{ 
     VTDGen vg = new VTDGen(); 
     if (!vg.parseFile("d:\\xml\\first.xml", false)) 
      return; 
     VTDNav vn1=vg.getNav(); 
     if(!vg.parseFile("d:\\xml\\second.xml", false)) 
      return; 
     VTDNav vn2 = vg.getNav(); 
     XMLModifier xm = new XMLModifier(vn1); 
     long l = vn2.getContentFragment(); 
     xm.insertBeforeTail(vn2, l); 
     xm.output("d:\\xml\\merged.xml"); 
    } 
}