Traitement de gros fichier texte en C#

Question

J'ai des fichiers texte de 4 Go + (format csv) et je veux traiter ce fichier en utilisant linq dans C#.

Je lance une requête linq complexe après le chargement de CSV et la conversion en classe?

mais la taille du fichier est 4gb bien que la mémoire de l'application double taille de fichier. Comment puis-je traiter de gros fichiers (linq et nouveau résultat)?

Merci

Answer 1

lieu de fichier entier chargement dans la mémoire, vous pouvez lire et traiter la ligne par ligne fichier.

using (var streamReader = new StreamReader(fileName)) 
{ 
    string line; 
    while ((line = streamReader.ReadLine()) != null) 
    { 
     // analize line here 
     // throw it away if it does not match 
    } 
} 

[EDIT]

Si vous avez besoin d'exécuter des requêtes complexes par rapport aux données dans le fichier, la bonne chose à faire est de charger les données de base de données et laisser SGBD pour prendre soin des données récupération et gestion de la mémoire.

Answer 2

Je pense que celui-ci est une bonne façon ... CSV

Answer 3

Si vous utilisez .NET 4.0, vous pouvez utiliser Clay puis écrire une méthode qui retourne une ligne IEnumerable pour la ligne et qui fait le code comme ci-dessous possible

from record in GetRecords("myFile.csv",new []{"Foo","Bar"},new[]{","}) 
where record.Foo == "Baz" 
select new {MyRealBar = int.Parse(record.Bar) 

la méthode pour projeter le CSV dans une séquence d'objets d'argile pourrait être créé comme:

private IEnumerable<dynamic> GetRecords(
        string filePath, 
        IEnumerable<string> columnNames, 
        string[] delimiter){ 
      if (!File.Exists(filePath)) 
       yield break; 
      var columns = columnNames.ToArray(); 
      dynamic New = new ClayFactory(); 
      using (var streamReader = new StreamReader(filePath)){ 
       var columnLength = columns.Length; 
       string line; 
       while ((line = streamReader.ReadLine()) != null){ 
        var record = New.Record(); 
        var fields = line.Split(delimiter, StringSplitOptions.None); 
        if(fields.Length != columnLength) 
         throw new InvalidOperationException(
           "fields count does not match column count"); 
        for(int i = 0;i<columnLength;i++){ 
         record[columns[i]] = fields[i]; 
        } 
        yield return record; 
       } 
      } 
     }