Problème de mise en mémoire tampon Perl suspecté

Question

Je pense avoir un problème de mise en mémoire tampon Perl car je dois lire et analyser de gros fichiers texte (créés par moi-même dans les lignes précédentes du code) pour finalement imprimer des éléments dans un autre fichier. À un certain point, après avoir lu un fichier avec 90 855 lignes et un autre du deuxième fichier, le script ne lit pas complètement une ligne du fichier.

J'ai compté le nombre de caractères lus jusqu'à ce que cela arrive: 233 467, et j'ai donc essayé de vider le tampon et de dormir avant de lire la ligne suivante du fichier. Ça ne marche pas.

Des suggestions, s'il vous plaît?

Voici mon code:

foreach $i (@files) { 

    my $buff = 0; 

    print "Analyzing $i\n"; 
    sleep(1); 
    $program = $1 if $i =~ /(\w+)_SITES/; 

    open(FIL, $i) or die "$!: $i\n"; 
    while (<FIL>) { 

     $buff += length($_); 
     if ($buff >= 230000) { #FLUSH THE BUFFER, NOT WORKING!!! 
      $buff = 0; 
      sleep(1); 
      select((select(FIL), $| = 1)[0]); 
     } 

     undef($a); 
     unless ($. == 1) { 
      if ($o == 0) { 
       if (/^\d+\t(\S+)\t(\S+)\t(\d+)\t(\d+)\t(\S+)\t(\S+)\t(.*)/) { 
        $mirna = $1; 
        $target = $2; 
        $start = $3; 
        $end = $4; 
        $site = $5; 
        $comp_p = $6; 
        $a  = $7; 
        $j  = "${mirna}_${target}_${start}_$end"; 
        $site_nu{$j} = "$mirna\t$target\t$start\t$end\t$site\t$comp_p"; # Store each site in a hash 
       } 
       else { #DIES HERE!!! 
        die "$buff characters, in line $.:$_\n" 
       } 
      } 
      else { 
       if (/^\d+\t(\S+)\t(\S+)\t(\d+)\t(\d+)\t(\S+)\t(.*)/) { 
        $mirna  = $1; 
        $target  = $2; 
        $start  = $3; 
        $end   = $4; 
        $site  = $5; 
        $a   = $6; 
        $j   = "${mirna}_${target}_${start}_$end"; 
        $site_nu{$j} = "$mirna\t$target\t$start\t$end\t$site"; # Store each site in a hash 
       } 
      } 

Il meurt à "dies ICI !!" mourir, après avoir lu 3,413 caractères du deuxième fichier.

Cela arrive parce que la regex ne fonctionne pas puisque seulement la moitié de la ligne est dans $ _.

Answer 1

Le problème est presque certainement parce que les données ne sont pas dans votre fichier à lire.

Vous dites que le fichier est produit à partir d'une partie antérieure de votre code. Je suppose que vous avez un problème de mise en mémoire tampon à la place. Une fois que votre code a fini d'écrire le fichier, utilisez close pour vider les données restantes dans le fichier et je suppose que tout ira bien.

Vous devriez vérifier l'état du succès de votre close appel, comme celui-ci

close FILEHANDLE or die "Unable to close temporary file: $!"; 

En dehors de cela, la sagesse d'utiliser un fichier temporaire pour un si petit ampount de données au lieu de simplement garder tout en mémoire est discutable. En outre:

• Vous devez toujours use strict et use warnings et déclarer toutes les variables à l'aide my le plus près possible de leur premier point d'utilisation. Sauf si vous avez choisi de déclarer tout en haut de votre programme (une très mauvaise idée) vous n'avez pas fait cela

• Votre choix de noms de variables est erratique. $i pour un nom de fichier? Et $o pour - erm - quelque chose? $buff serait bien, sauf qu'il est la taille d'un Buffre fictif au lieu du tampon istelf

• Vous devez utiliser des descripteurs de fichier lexical avec la forme à trois paramètres de open: open my $fil, '<', $i or die "$!: $i";

• Si vous utilisez $| correctement, il est plus facile et plus lisible d'utiliser FILE->autoflush au lieu de l'astuce de permuter le handle de fichier sélectionné et le réglage $|.Pour ce faire, vous devez use IO::Handle au début de votre code, sauf si vous utilisez Perl 5 la version 14 ou version ultérieure qui charge IO::File (et donc IO::Handle) sur demande

• Je pense qu'un split /\t/ simple serait mieux que le regex vous utilisent. Il semble aussi que vous seriez mieux avec un hachage de tableaux pour %site_nu comme celui-ci $site_nu{$j} = [$mirna, $target, $start, $end, $site, $comp_p]

• Mettre un saut de ligne à la fin d'une arrête chaîne die perl d'afficher des informations sur les fichiers source et de données et les numéros de ligne, qui serait probablement utile pendant que vous déboguez

• Vous feriez vous-même, et les personnes que vous demandez de l'aide, une faveur en formatant bien votre code source. Sans indentation correcte, il est très difficile de dire où commencent et se terminent les blocs de code