Générer un gros PDF à partir d'une énorme quantité de données

Question

Je lis les données de la base de données à partir de laquelle je génère HTML DOM. Le volume de données est énorme donc il ne peut pas entrer dans la mémoire à la fois, mais il peut être fourni morceau par morceau.

Je voudrais transformer en résultant HTML PDF en utilisant Flying Saucer:

import org.xhtmlrenderer.pdf.ITextRenderer; 
import org.dom4j.DocumentFactory; 
import org.dom4j.Element; 
import org.dom4j.io.DOMWriter; 

OutputStream bodyStream = outputMessage.getBody(); 

ITextRenderer renderer = new ITextRenderer(); 

DocumentFactory documentFactory = DocumentFactory.getInstance(); 
DOMWriter domWriter = new DOMWriter(); 

Element htmlNode = documentFactory.createElement("html"); 
Document htmlDocument = documentFactory.createDocument(htmlNode); 

int currentLine = 1; 
int currentPage = 1; 

try { 
    while (currentLine <= numberOfLines) { 
     currentLine += loadDataToDOM(documentFactory, htmlNode, currentLine, CHUNK_SIZE); 

     renderer.setDocument(domWriter.write(htmlDocument), null); 
     renderer.layout(); 

     if (currentPage == 1) { 
      // For the first page the PDF writer is created: 
      renderer.createPDF(bodyStream, false); 
     } 
     else { 
      // Other documents are appended to current PDF writer: 
      renderer.writeNextDocument(currentPage); 
     } 

     currentPage += renderer.getRootBox().getLayer().getPages().size(); 
    } 

    // Finalise the PDF: 
    renderer.finishPDF(); 
} 
catch (DocumentException e) { 
    throw new IOException(e); 
} 
catch (org.dom4j.DocumentException e) { 
    throw new IOException(e); 
} 
finally { 
    IOUtils.closeQuietly(bodyStream); 
} 

Le problème avec cette approche est que la dernière page du morceau est pas nécessairement complètement rempli de données. Y a-t-il une solution pour remplir l'espace? Par exemple je pourrais penser à l'approche qui vérifiera que la dernière page n'est pas complètement classée et puis la jeter (pas écrire au pdf), découvrir également quelles données ont été rendues sur cette page et rembobiner la position dans la base de données (exemple) . Ce serait bien si l'on peut poster une solution complète.

Answer 1

Comme je l'ai déjà mentionné dans les commentaires, vous gaspillez de la mémoire et du temps de traitement en créant un PDF à partir d'une source de données en créant HTML d'abord, puis en convertissant le HTML en PDF. Vous introduisez également beaucoup de complexité inutile.

Dans votre commentaire, vous mentionnez des fonctionnalités de bas niveau telles que moveTo() et lineTo(). Il serait en effet fou de dessiner une table en utilisant des opérations de bas niveau qui dessinent chaque ligne et chaque mot. La classe PdfPTable doit être utilisée. L'exemple ArrayToTable est un POC très simple où les données se présentent sous la forme d'un List<List<String>>. Le code est aussi simple que cela:

PdfPTable table = new PdfPTable(8); 
table.setWidthPercentage(100); 
List<List<String>> dataset = getData(); 
for (List<String> record : dataset) { 
    for (String field : record) { 
     table.addCell(field); 
    } 
} 
document.add(table); 

Bien sûr: vous parlez d'un vaste ensemble de données, auquel cas, vous voudrez peut-être de ne pas construire la table en mémoire d'abord, puis rincer la mémoire lorsque le la table est ajoutée au document. Vous voudrez ajouter de petites parties de la table pendant que vous le construisez. C'est ce qui se passe dans l'exemple MemoryTests. Ajoutez cette ligne:

table.setComplete(false); 

Et vous pouvez ajouter la table petit à petit (dans l'exemple: toutes les 10 lignes). Lorsque vous avez terminé d'ajouter des cellules à la table, vous devez le faire:

table.setComplete(true); 
document.add(table); 

Ceci ajoutera les lignes finales.

Si vous voulez une table avec un en-tête répéter et/ou pied de page, un regard sur les tableaux de ce PDF: header_footer_1.pdf

Les HeaderFooter1 et HeaderFooter2 exemples vous montrer comment il est fait.

Answer 2

Ceci n'est pas une réponse à la question précise que vous avez posée, donc si ce post est inutile je vais le supprimer.

Étant donné que le document est énorme, vous pouvez obtenir les meilleurs résultats en émettant les données en tant que LaTeX et en l'exécutant par pdflatex.

Avantages:

• source LaTeX du genre dont vous avez besoin est simple à émettre - pas plus compliqué que HTML.
• L'ensemble du système TeX est conçu pour produire de très beaux documents.LaTeX est traitée comme un flux de pages. Le nombre de pages n'a pratiquement aucun effet sur les ressources RAM requises.
• Vous obtenez la pleine puissance d'un langage de composition pour que vos pages soient belles. Vous voulez des en-têtes de fantaisie? Numéros de page bien positionnés? Rubriques de section? Table des matières cliquable, etc. etc. Pas de problème.
• LaTeX est disponible gratuitement pour tous les principaux systèmes d'exploitation.

Inconvénients:

• LATEX est un exécutable natif, pas un lib Java.

Si vous êtes intéressé par cela, je peux étoffer plus de détails.