Quels sont les bons modules Perl pour la programmation basée sur les flux sur les fichiers?

Question

Quels sont les bons modules Perl pour traiter les fichiers en fonction des configurations? Fondamentalement, je travaille sur la prise de fichiers de données, les diviser en colonnes, supprimer certaines lignes en fonction de certaines colonnes, supprimer les colonnes inutiles, les comparer à la ligne de base (écrit où les changements ont eu lieu) et enregistrer un csv des données commentaires en tant que métadonnées.

Exemple de fichier est:

001SMSL24936 
002XXXXX20090320102436    010000337 00051  
002XXXXX20090320103525    010000333 00090  
002XXXXX20090320103525    010000333 00090  
002XXXXX20090320103525    010000333 00090  
002XXXXX20090320103525    010000333 00090  
002XXXXX20090320103525    020000333 00090  
009000000009000000000271422122 

il comparera ligne par ligne avec un autre fichier (ligne de base) et quelques lignes différentes seront mises en évidence (je l'utilise Tk::DiffText).

Voici le pipeline où [is a pipe]

fichier

-> [SPLIT] -> [supprimer la production] -> [trier] -> [comparer] -> {utilisateur saute et écrit des commentaires, fichier les modifications au besoin } -> [save csv] -> [enregistrer les commentaires]

La vraie question est de savoir quel module Perl aide à modéliser et à faire circuler un pipeline comme ça? Après plus de recherche, j'ai trouvé ce http://en.wikipedia.org/wiki/Flow-based_programming.

Answer 1

C'est ce que je cherchais:

Text::Pipe

Text::Pipe::Stackable

Merci de me aider mes idées clarifier!

Answer 2

Hmmm, semble que ce n'est rien Perl ne peut pas gérer presque par lui-même:

prenant des fichiers de données

while (<>) 

les diviser en colonnes,

my @row = split(/,/); 

supprimer certaines lignes en fonction des colonnes ,

next if @row[5] =~ m/black_list_data/; 

supprimer des colonnes inutiles

@row = ($row[1], $row[4]); 

supprimer des colonnes inutiles

@row = ($row[1], $row[4]); 

les comparer à la valeur initiale (écrit où des changements ont eu lieu)

Ok, là, vous pouvez utiliser Algorithm::Diff

et économisez un csv des données et les commentaires sous forme de métadonnées.

Class::CSV ou DBD::CSV?

Answer 3

Jetez un coup d'œil à Sprog. C'est un moteur de programmation visuel écrit en Perl (en utilisant Gtk2). Vous pouvez créer des programmes Perl en faisant glisser et en déposant "engrenages". Vous pouvez également ajouter vos propres engrenages (écrits en Perl, bien sûr).

screen shot of Sprog http://sprog.sourceforge.net/screenshots/images/01_assembly.png

Answer 4

Je ne suis pas au courant des mises en œuvre Perl de la programmation axée sur les flux, mais je crois que Perl 5.8 a fait des fils d'interprètes disponibles pour les codeurs Perl (quelqu'un me corriger si je me trompe!), Il devrait être relativement simple pour construire une implémentation de FBP sur Perl.Voir http://perldoc.perl.org/threads.html