jdbc + grande requête postgresql donnent de mémoire

Question

Je suis en train d'exécuter une requête postgresql qui renvoie un grand résultat:

connection.setAutoCommit(false); 
st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 
st.setFetchSize(100); 
logMemory(); 
System.out.println("start query "); 
rs = st.executeQuery(queryString); 
System.out.println("done query "); 
logMemory(); 

mais utilise beaucoup de mémoire:

Free memory; 4094347680 (= 3905 mb). 
start query 
done query 
Free memory; 2051038576 (= 1956 mb). 

(imprimé avec Runtime.getRuntime(). freeMemory())

Jusqu'à présent cela fonctionne mais la base de données va être beaucoup plus grande. Je n'ai jamais besoin du résultat entier en mémoire; J'ai juste besoin de traiter chaque ligne, écrire les résultats sur le disque et aller à la rangée suivante. Je sais que 'setFetchSize' est seulement un indice, mais je trouverais étrange que postgresql/jdbc l'ignore, car il existe depuis des lustres.

Un moyen de le contourner? Ma seule idée jusqu'ici est de faire un script batch qui transmet le résultat de la requête sur le disque, puis analyser le fichier à partir de Java ...

Answer 1

Ouch, c'est l'un des bogues les plus méchants utilisant JDBC que j'ai vu. Vous devez changer

st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 

dans

st = connection.createStatement(
    ResultSet.TYPE_FORWARD_ONLY, 
    ResultSet.CONCUR_READ_ONLY 
); 

Peut-être simplement

st = connection.createStatement(); 

fonctionnera aussi bien (que vous avez rencontré les autres critères pour un curseur).

Answer 2

Here sont les directives pour s'assurer que le jeu de résultats est réellement récupéré avec un curseur . Vous semblez atteindre tous les noms connus dans votre code, mais vous n'avez pas spécifié l'instruction, donc elle peut être plusieurs fois avec des points-virgules (peu probable, selon l'apparence de votre code). Vous devez utiliser le protocole V3 (version 7.4 ou ultérieure). Est-ce que toutes ces choses s'appliquent à votre cas?