Java - Impossible de terminer l'écriture du fichier texte

Question

Je dois traiter un gros fichier texte (600 Mo environ) afin de le formater correctement, en écrivant la sortie formatée dans un nouveau fichier texte. Le problème est que l'écriture du contenu dans le nouveau fichier s'arrête à environ 6,2 Mo. Voici le code:

/* Analysis of the text in fileName to see if the lines are in the correct format 
    * (Theme\tDate\tTitle\tDescription). If there are lines that are in the incorrect format, 
    * the method corrects them. 
    */ 
    public static void cleanTextFile(String fileName, String destFile) throws IOException { 
     OutputStreamWriter writer = null; 
     BufferedReader reader = null; 

     try { 
      writer = new OutputStreamWriter(new FileOutputStream(destFile), "UTF8"); 
     } catch (IOException e) { 
      System.out.println("Could not open or create the file " + destFile); 
     } 

     try { 
      reader = new BufferedReader(new FileReader(fileName)); 
     } catch (FileNotFoundException e) { 
      System.out.println("The file " + fileName + " doesn't exist in the folder."); 
     } 

     String line; 
     String[] splitLine; 
     StringBuilder stringBuilder = new StringBuilder(""); 

     while ((line = reader.readLine()) != null) { 
      splitLine = line.split("\t"); 
      stringBuilder.append(line); 

      /* If the String array resulting of the split operation doesn't have size 4, 
      * then it means that there are elements of the news item missing in the line 
      */ 
      while (splitLine.length != 4) { 
       line = reader.readLine(); 
       stringBuilder.append(line); 

       splitLine = stringBuilder.toString().split("\t"); 
      } 
      stringBuilder.append("\n"); 
      writer.write(stringBuilder.toString()); 
      stringBuilder = new StringBuilder(""); 

      writer.flush(); 
     } 

     writer.close(); 
     reader.close(); 

    } 

Je l'ai déjà cherché des réponses, mais le problème est généralement lié au fait que l'auteur n'a pas été fermée ou l'absence de la méthode flush(). Par conséquent, je pense que le problème est dans le BufferedReader. Qu'est-ce que je rate?

Answer 1

Regardez cette boucle:

while (splitLine.length != 4) { 
    line = reader.readLine(); 
    stringBuilder.append(line); 

    splitLine = stringBuilder.toString().split("\t"); 
} 

Si vous finissez toujours avec plus de 5 articles en splitLine, vous continuez à lire des données pour toujours ... vous ne remarquerez même pas lorsque vous Avons atteint la fin du fichier, car vous continuerez à ajouter null au StringBuilder. Je ne sais pas si c'est ce qui se passe (nous ne savons pas à quoi ressemblent vos données) mais c'est certainement faisable, et vous devriez vous en prémunir.

(Vous devez également utiliser un try/finally bloc pour les ressources de fermeture, mais c'est une autre question.)

Answer 2

séparé le FileOutputStream comme il est propre variable et fermez aussi:

FileOutputStream fos = new FileOutputStream(destFile); 
writer = new OutputStreamWriter(fos); 

    ... 

writer.flush(); 
fos.flush(); 

Answer 3

1. Le try/catch n'est pas bien codé, en cas d'erreur le processus continue.

2. Vous pouvez remplacer

   stringBuilder = new StringBuilder(""); 
   

   par

   stringBuilder.setLength(0); 
   

3. Utilisez votre propre analyseur line.indexOf('\t',from) en place de String.split()

4. Ajouter les pièces obtenues avec line.substring (b, e) a Liste < Chaîne>
5. Utiliser un flux PrintStream avec un caractère correct set tère, utilisez le constructeur avec deux paramètres
6. Écrivez les informations 4 par 4, la consommation de données de la liste, lorsque list.size()> = 4