Ajout d'éléments à ArrayList sérialisé sans chargement de ArrayList dans la RAM dans JAVA

Question

Est-il possible d'ajouter des éléments dans une liste Array dans java qui est déjà sérialisé sur le disque sans le recharger en RAM. J'ai besoin de ceci pour sauvegarder des données strucutrées à partir d'un fichier XML pour charger des données dans une base de données mysql. Le fichier XML a plusieurs Go de données et le problème est que je dois stocker toutes les données du fichier XML pour traiter les données?

Answer 1

ArrayList, ou toute autre structure de données d'ailleurs, est une structure de données en mémoire. Donc, tout ce que vous souhaitez mettre dans cette structure de données doit être chargé en mémoire (RAM).

Si vous vous demandez comment charger des données supérieures à la taille de la mémoire, envisagez de charger par lots. par exemple. Chargez les n premières entrées qui correspondent à la contrainte de mémoire, puis les traiter. Une fois que vous avez terminé, jetez-les et chargez le lot suivant et ainsi de suite.

Answer 2

Je pense que puisque votre fichier XML est déjà en Go, alors une meilleure approche serait de lire le fichier XML en morceaux et d'enregistrer le bloc d'enregistrements dans la base de données. Continuez jusqu'à ce que EOF soit atteint.

String encoding = "UTF-8"; 
int maxlines = 100; 
BufferedReader reader = null; 
BufferedWriter writer = null; 

try { 
    reader = new BufferedReader(new InputStreamReader(new FileInputStream("/bigfile.txt"), encoding)); 
    int count = 0; 
    for (String line; (line = reader.readLine()) != null;) { 
     if (count++ % maxlines == 0) { 
      close(writer); 
      writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream("/smallfile" + (count/maxlines) + ".txt"), encoding)); 
     } 
     writer.write(line); 
     writer.newLine(); 
    } 
} finally { 
    close(writer); 
    close(reader); 
}