Java: comment diviser un flux XML en petits documents XML? XPath sur l'analyseur XML de streaming?

Question

Je dois lire un document XML volumineux du réseau et le scinder en documents XML plus petits. En particulier, le flux j'ai lu à partir du réseau ressemble à ceci:

<a> <b> ... </b> <b> ... </b> <b> ... </b> <b> ... </b> .... </a>

J'ai besoin de briser ce en morceaux de

<a> <b> ... </b> <a>

(je ne fait besoin des <b> .... </b> parties comme Tant que les liaisons d'espace de noms déclarées plus haut (par exemple dans <a>) sont déplacées à <b> si cela est plus facile).

Le fichier est trop gros pour un analyseur de style DOM, il doit être fait en streaming. Existe-t-il une bibliothèque XML capable de faire cela?

[Modifier]

Je pense que je suis à la recherche idéal est quelque chose comme la possibilité de faire des requêtes XPath sur un flux XML dans lequel l'analyseur de flux parse que dans la mesure nécessaire pour retourner l'élément suivant dans la jeu de nœuds de résultats (et tous ses attributs et enfants). Ne doit pas être XPath, mais quelque chose le long de l'idée.

Merci!

Answer 1

L'API JAXP SAX avec filtre SAX est à la fois rapide et efficace. On peut voir de bons filtres intro here

Answer 2

Il m'arrive d'aimer la bibliothèque XML XOM, car son interface est simple, intuitive et puissante. Pour faire ce que vous voulez avec XML, vous pouvez utiliser votre propre NodeFactory et (par exemple) remplacer la méthode finishMakingElement(). Si c'est l'élément que vous voulez (dans votre cas, <b>), vous le transmettez à ce que vous voulez faire avec.

Answer 3

En tant que séparateur XML, VTD-XML est idéal pour cette tâche ... il est également plus efficace en mémoire que DOM. La méthode clé qui simplifie le codage est getElementFragment() ... de VTDNav ci-dessous est le code Java pour split input.xml dans out0.xml et out1.xml

<a> <b> text1 </b> <b> text2 </b> </a> 

en

<a> <b> text1</b> </a> 

et

<a> <b> text2</b> </a> 

utilisant XPath

/a/b 

Le code

import java.io.*; 
import com.ximpleware.*; 

public class split { 
    public static void main(String[] argv) throws Exception{ 
     VTDGen vg = new VTDGen(); 
     if (vg.parseFile("c:/split/input.xml", true)){ 
      VTDNav vn = vg.getNav(); 
      AutoPilot ap = new AutoPilot(vn); 
      ap.selectXPath("https://stackoverflow.com/a/b"); 
      int i=-1,k=0; 
      byte[] ba = vn.getXML().getBytes(); 
      while((i=ap.evalXPath())!=-1){ 
       FileOutputStream fos = new FileOutputStream("c:/split/out"+k+".xml"); 
       fos.write("<a>".getBytes()); 
       long l = vn.getElementFragment(); 
       fos.write(ba, (int)l, (int)(l>>32)); 
       fos.write("</a>".getBytes()); 
       k++; 
      } 
     }  
    } 
} 

Pour en savoir plus, s'il vous plaît visitez http://www.devx.com/xml/Article/36379

Answer 4

aller vieille école

StringBuilder buffer = new StringBuilder(1024 * 50); 
BufferedReader reader = new BufferedReader(new FileReader(pstmtout)); 
String line; 
while ((line = reader.readLine()) != null) { 
    buffer.append(line); 
    if (line.equalsIgnoreCase(endStatementTag)) { 
    service.handle(buffer.toString()); 
    buffer.delete(0, buffer.length()); 
    } 
} 

Answer 5

Vous pouvez le faire avec le langage XProc

<?xml version="1.0" encoding="ISO-8859-1"?> 
<p:declare-step xmlns:p="http://www.w3.org/ns/xproc" version="1.0"> 
    <p:load href="in/huge-document.xml"/> 
    <p:for-each> 
    <p:iteration-source select="https://stackoverflow.com/a/b"/> 
    <p:wrap match="/b" wrapper="a"/> 
    <p:store> 
     <p:with-option name="href" select="concat('part', p:iteration-position(), '.xml')"> 
      <p:empty/> 
     </p:with-option> 
    </p:store> 
    </p:for-each> 
</p:declare-step> 

Vous pouvez utiliser QuiXProc (mise en œuvre en streaming XProc: http://code.google.com/p/quixproc/) pour essayer de le diffuser aussi