Perl - Résumer les données dans le fichier

Question

Quel est le meilleur moyen de récapituler les données d'un fichier qui contient environ 2 millions d'enregistrements en Perl?

Pour exemple: Un fichier comme celui-ci,

ABC | XYZ | DEF | EGH | 100

ABC | XYZ | DEF | FGH | 200

SDF | GHT | WWW | RTY | 1000

SDF | GHT | WWW | TYU | 2000

doivent être résumés sur les 3 premières colonnes comme celui-ci,

ABC | XYZ | DEF | 300

SDF | GHT | WWW | 3000

Chris

Answer 1

présumant qu'il y toujours cinq colonnes, dont la cinquième est numérique, et vous voulez toujours que les trois premières colonnes soient la clé ...

use warnings; 
use strict; 

my %totals_hash; 

while (<>) 
{ 
    chomp; 
    my @cols = split /\|/; 

    my $key = join '|', @cols[0..2]; 

    $totals_hash{$key} += $cols[4]; 
} 

foreach (sort keys %totals_hash) 
{ 
    print $_, '|', $totals_hash{$_}, "\n"; 
} 

Answer 2

Vous pouvez utiliser un hachage comme:

my %hash; 
while (<DATA>) { 
     chomp; 
     my @tmp = split/\|/;  # split each line on | 
     my $value = pop @tmp; # last ele is the value 
     pop @tmp;    # pop unwanted entry 
     my $key = join '|',@tmp; # join the remaining ele to form key 

     $hash{$key} += $value; # add value for this key 
} 

# print hash key-values. 
for(sort keys %hash) { 
     print $_ . '|'.$hash{$_}."\n"; 
} 

Ideone link

Answer 3

En supposant que votre fichier d'entrée a ses enregistrements dans des lignes séparées.

perl -n -e 'chomp;@a=split/\|/;$h{join"|",splice@a,0,3}+=pop@a;END{print map{"$_: $h{$_}\n"}keys%h}' < inputfile 

Answer 4

Trier mettre tous les dossiers avec les mêmes 3 premiers triplés à côté de l'autre. Itérer et expulser un sous-total lorsqu'un ensemble différent de triplets apparaît.

$prevKey=""; 
$subtotal=0; 
open(INPUTFILE, "<$inFile"); 
@lines=<INPUTFILE>; 
close (INPUTFILE); 
open(OUTFILE, ">$outFile"); 
@sorted=sort(@lines); 
foreach $line(@lines){ 
    @parts=split(/\|/g, $line); 
    $value=pop(@parts); 
    $value-=0; #coerce string to a number 
    $key=$parts[0]."|".$parts[1]."|".$parts[2]; 
    if($key ne $prevKey){ 
     print OUTFILE "$prevKey|$subtotal\n"; 
     $prevKey=$key; 
     $subtotal=0; 
     } 
    $subtotal+=$value; 
    } 
close(OUTFILE); 

Si le tri de 2 millions de selfs votre boîte, vous pouvez avoir à mettre chaque enregistrement dans un fichier basé sur le groupe, puis faire le sous-total pour chaque fichier.

Answer 5

1-2-3-4 Je déclare UNE GUERRE DE CODE-GOLF !!! (D'accord, un raisonnablement lisible code de golf poussière vers le haut.)

my %sums; 
m/([^|]+\|[^|]+\|[^|]+).*?\|(\d+)/ and $sums{ $1 } += $2 while <>; 
print join("\n", (map { "$_|$sums{$_}" } sort keys %sums), '');