Parsing gros documents XML en JAVA

Question

J'ai le problème suivant:

J'ai un fichier XML (environ 1 Go), et doivent itérer et vers le bas (non séquentielle, l'un après l'autre) afin pour obtenir les données requises et faire quelques opérations dessus. Initialement, j'ai utilisé le paquet DOM Java, mais évidemment, tout en analysant le fichier XML, la JVM atteint son espace de tas maximum et s'arrête. Afin de surmonter ce problème, l'une des solutions que j'ai trouvées consistait à trouver un autre analyseur qui itère chaque élément dans le XML, puis je stocke son contenu dans une base de données SQLite temporaire sur mon disque dur. Ainsi, le tas de la JVM n'est pas dépassé et, une fois toutes les données remplies, j'ignore le fichier XML et continue mes opérations sur la base de données SQLite temporaire.

Existe-t-il une autre façon de résoudre mon problème?

Answer 1

SAX (Simple API for XML) vous aidera ici.

Contrairement à l'analyseur DOM, l'analyseur SAX ne crée pas en mémoire représentation du document XML et est donc plus rapide et utilise moins de mémoire . Au lieu de cela, l'analyseur syntaxique SAX informe les clients de la structure de document XML en appelant des rappels, c'est-à-dire en invoquant des méthodes sur une instance org.xml.sax.helpers.DefaultHandler fournie à l'analyseur.

Voici un exemple d'implémentation:

SAXParser parser = SAXParserFactory.newInstance().newSAXParser(); 
DefaultHandler handler = new MyHandler(); 
parser.parse("file.xml", handler); 

Où dans MyHandler vous définissez les actions à prendre lorsque des événements comme début/fin du document/élément sont générés.

class MyHandler extends DefaultHandler { 

    @Override 
    public void startDocument() throws SAXException { 
    } 

    @Override 
    public void endDocument() throws SAXException { 
    } 

    @Override 
    public void startElement(String uri, String localName, String qName, 
      Attributes attributes) throws SAXException { 
    } 

    @Override 
    public void endElement(String uri, String localName, String qName) 
      throws SAXException { 
    } 

    // To take specific actions for each chunk of character data (such as 
    // adding the data to a node or buffer, or printing it to a file). 
    @Override 
    public void characters(char ch[], int start, int length) 
      throws SAXException { 
    } 

} 

Answer 2

Si vous ne voulez pas être lié par les limites de la mémoire , je recommande certainement vous d'utiliser votre approche actuelle, et stocker tout dans la base de données.

L'analyse du fichier XML doit être effectuée par un SAX parser, comme tout le monde l'a recommandé (y compris moi). De cette façon, vous pouvez créer un objet à la fois, et vous pouvez immédiatement le conserver dans la base de données.

Pour le post-traitement (résolution des références croisées), vous pouvez utiliser SELECT depuis la base de données, créer des clés primaires, des index, etc. Vous pouvez utiliser ORM (Eclipselink, Hibernate) si vous vous sentez à l'aise avec ça .

En fait, je ne recommande pas vraiment SQLite, il est plus facile de configurer un serveur MySQL et d'y stocker les données. Plus tard, vous pouvez même réutiliser les données XML (si vous ne les supprimez pas).

Answer 3

Si vous souhaitez utiliser une approche de plus haut niveau que SAX, ce qui peut être très difficile à programmer, vous pouvez regarder les transformations XSLT en streaming en utilisant une version récente de Saxon-EE. Cependant, vous avez été trop vague sur le traitement précis que vous faites pour savoir si cela fonctionnera pour votre cas particulier.

Answer 4

si vous avez besoin d'une ressource approche conviviale pour gérer très grand xml, essayez ceci: http://www.xml2java.net/xml-to-java-data-binding-for-big-data/ il vous permet de traiter les données d'une manière SAX, mais avec l'avantage d'obtenir des événements de haut niveau (données xml mappés sur java) et être capable de travailler directement avec ces objets dans votre code.il combine donc la commodité de jaxb et la convivialité des ressources SAX.