Comment convertir l'encodage d'un fichier volumineux (> 1 Go) en taille - vers Windows 1252 sans exception de mémoire insuffisante?

Question

Tenir compte:

public static void ConvertFileToUnicode1252(string filePath, Encoding srcEncoding) 
{ 
    try 
    { 
     StreamReader fileStream = new StreamReader(filePath); 
     Encoding targetEncoding = Encoding.GetEncoding(1252); 

     string fileContent = fileStream.ReadToEnd(); 
     fileStream.Close(); 

     // Saving file as ANSI 1252 
     Byte[] srcBytes = srcEncoding.GetBytes(fileContent); 
     Byte[] ansiBytes = Encoding.Convert(srcEncoding, targetEncoding, srcBytes); 
     string ansiContent = targetEncoding.GetString(ansiBytes); 

     // Now writes contents to file again 
     StreamWriter ansiWriter = new StreamWriter(filePath, false); 
     ansiWriter.Write(ansiContent); 
     ansiWriter.Close(); 
     //TODO -- log success details 
    } 
    catch (Exception e) 
    { 
     throw e; 
     // TODO -- log failure details 
    } 
} 

La pièce ci-dessus code renvoie une exception hors de la mémoire pour les gros fichiers et ne fonctionne que pour les fichiers de petite taille.

Answer 1

Je pense toujours en utilisant un StreamReader et un StreamWriter mais des blocs de lecture de caractères au lieu de tout à la fois ou ligne par ligne est la solution la plus élégante. Il ne suppose pas arbitrairement que le fichier se compose de lignes de longueur gérable et qu'il ne rompt pas avec les codages de caractères multi-octets.

public static void ConvertFileEncoding(string srcFile, Encoding srcEncoding, string destFile, Encoding destEncoding) 
{ 
    using (var reader = new StreamReader(srcFile, srcEncoding)) 
    using (var writer = new StreamWriter(destFile, false, destEncoding)) 
    { 
     char[] buf = new char[4096]; 
     while (true) 
     { 
      int count = reader.Read(buf, 0, buf.Length); 
      if (count == 0) 
       break; 

      writer.Write(buf, 0, count); 
     } 
    } 
} 

(je veux StreamReader avait une méthode CopyTo comme Stream ne, si elle avait, ce serait essentiellement une seule ligne!)

Answer 2

Ne pas readToEnd et le lire comme ligne par ligne ou X caractères à la fois. Si vous lisez à la fin, vous mettez tout votre fichier dans le tampon à la fois.

Answer 3

Essayez ceci:

using (FileStream fileStream = new FileStream(filePath, FileMode.Open)) 
{ 
    int size = 4096; 
    Encoding targetEncoding = Encoding.GetEncoding(1252); 
    byte[] byteData = new byte[size]; 

    using (FileStream outputStream = new FileStream(outputFilepath, FileMode.Create)) 
    { 
     int byteCounter = 0; 

     do 
     { 
      byteCounter = fileStream.Read(byteData, 0, size); 

      // Convert the 4k buffer 
      byteData = Encoding.Convert(srcEncoding, targetEncoding, byteData); 

      if (byteCounter > 0) 
      { 
       outputStream.Write(byteData, 0, byteCounter); 
      } 
     } 
     while (byteCounter > 0); 

     inputStream.Close(); 
    } 
} 

aurait peut-être des erreurs de syntaxe comme je l'ai fait de la mémoire, mais voilà comment je travaille avec de gros fichiers, lire dans un morceau à la fois, faire un peu de traitement et enregistrer le morceau en arrière. C'est vraiment la seule façon de le faire (streaming) sans compter sur un overhead massif d'IO pour tout lire et une énorme consommation de RAM pour tout stocker, tout convertir en mémoire et ensuite tout sauvegarder.

Vous pouvez toujours ajuster la taille de la mémoire tampon.

Si vous voulez que votre ancienne méthode de travailler sans jeter le OutOfMemoryException, vous devez dire au Garbage Collector pour permettre des objets très volumineux.

En App.config, sous <runtime> ajouter cette ligne suivante (vous ne devriez pas avoir besoin avec mon code, mais il est bon de savoir):

<gcAllowVeryLargeObjects enabled="true" />