zcat pour lire les fichiers gzip puis les concaténer en Perl

Question

J'ai besoin d'écrire un script perl pour lire les fichiers gzippés à partir d'une liste de fichiers texte de leurs chemins, puis les concaténer ensemble et les sortir dans un nouveau fichier gzipé. (J'ai besoin de le faire en perl car il sera implémenté dans un pipeline) Je ne suis pas sûr de savoir comment accomplir la partie zcat et la concaténation, comme les tailles de fichier seraient en Gbs, je dois prendre soin du stockage et courir aussi bien.

Jusqu'à présent, je peux penser comme -

use strict; 
use warnings; 
use IO::Compress::Gzip qw(gzip $GzipError) ; 

#-------check the input file specified-------------# 

$num_args = $#ARGV + 1; 
if ($num_args != 1) { 
    print "\nUsage: name.pl Filelist.txt \n"; 
exit; 

$file_list = $ARGV[0]; 

#-------------Read the file into arrray-------------# 

my @fastqc_files; #Array that contains gzipped files 
use File::Slurp; 
my @fastqc_files = $file_list; 


#-------use the zcat over the array contents 
my $outputfile = "combined.txt" 
open(my $combined_file, '>', $outputfile) or die "Could not open file '$outputfile' $!"; 

for my $fastqc_file (@fastqc_files) { 

    open(IN, sprintf("zcat %s |", $fastqc_file)) 
     or die("Can't open pipe from command 'zcat $fastqc_file' : $!\n"); 
    while (<IN>) { 
     while (my $line = IN) { 
      print $outputfile $line ; 
     } 
    } 
    close(IN); 

my $Final_combied_zip = new IO::Compress::Gzip($combined_file); 
    or die "gzip failed: $GzipError\n"; 

Je suis en quelque sorte pas en mesure de le faire fonctionner. Aussi, si quelqu'un peut guider sur la bonne façon de sortir ce fichier compressé.

Merci!

Answer 1

Vous n'avez pas besoin de perl pour cela. Vous ne même pas besoin zcat/gzip sous forme de fichiers gzip sont cat en mesure:

cat $(cat pathfile) >resultfile 

Mais si vous avez vraiment vraiment besoin d'essayer d'obtenir la compression supplémentaire en combinant:

zcat $(cat pathfile)|gzip >resultfile 

Ajout: Notez également le premier lien « lié » à droite, qui semble répondre déjà cette même question: How to concat two or more gzip files/streams

Answer 2

Merci pour les réponses - le script fonctionne bien maintenant -

#!/usr/bin/perl 
use strict; 
use warnings; 
use File::Slurp; 
use IO::Compress::Gzip qw(gzip $GzipError); 


my @data = read_file('./File_list.txt'); 
my $out = "./test.txt"; 


foreach my $data_file (@data) 

{ 
    chomp($data_file); 
    system("zcat $data_file >> $out"); 
} 
my $outzip = "./test.gz"; 
gzip $out => $outzip;