Copie d'une partie d'un fichier volumineux à l'aide de la ligne de commande

Question

J'ai un fichier texte avec 2 millions de lignes. Chaque ligne contient des informations sur les transactions.

par exemple.

23848923748, exemple de texte, feild2, 12/12/2008

etc

Ce que je veux faire est de créer un nouveau fichier à partir d'un certain nombre de transaction unique à compter. Donc, je veux diviser le fichier à la ligne où ce numéro existe. Comment puis-je faire cela en ligne de commande?

je peux trouver la ligne en faisant ceci:

cat myfile.txt | grep 23423423423 

Answer 1

Sur un fichier aléatoire dans mon répertoire tmp, voilà comment je tout sortie de la ligne correspondant à partir popd dans un fichier nommé tmp.sh:

tail -n+`grep -n popd tmp.sh | cut -f 1 -d:` tmp.sh 

tail -n+X matchs de ce numéro de ligne partir; grep -n sort lineno: nom de fichier, et extrait extraits juste lineno de grep.

Donc, pour votre cas, il serait:

tail -n+`grep -n 23423423423 myfile.txt | cut -f 1 -d:` myfile.txt 

Et il devrait en effet correspondre à partir de la première occurrence partir.

Answer 2

Ce n'est pas une solution assez, mais que diriez-vous en utilisant le paramètre -A de grep?

Comme ceci:

mc@zolty:/tmp$ cat a 
1 
2 
3 
4 
5 
6 
7 
mc@zolty:/tmp$ cat a | grep 3 -A1000000 
3 
4 
5 
6 
7 

Le seul problème que je vois dans cette solution est le nombre magique 1000000. Probablement quelqu'un connaîtra la réponse sans utiliser un tel tour.

Answer 3

Vous pouvez probablement obtenir le numéro de ligne en utilisant Grep, puis utiliser Tail pour imprimer le fichier à partir de ce point dans votre fichier de sortie.

Désolé je n'ai pas de code réel à afficher, mais j'espère que l'idée est claire.

Answer 4

utilisation sed comme celui-ci

sed '/23423423423/,$!d' myfile.txt 

ne font que confirmer que le numéro de transaction unique ne peut pas apparaître comme un modèle dans une autre partie de la ligne (en particulier, avant la ligne correspondant correctement) dans votre fichier.

---

Il existe déjà un 'perl' répondre ici, donc, je vais donner un plus AWK façon :-)

awk '{BEGIN{skip=1} /number/ {skip=0} // {if (skip!=1) print $0}' myfile.txt 

Answer 5

Je voudrais écrire un script Perl rapide, franchement. Il est inestimable pour n'importe quoi de pareil (problèmes relativement simples) et dès que quelque chose de plus complexe fait sa tête (comme il le fera!) Alors vous aurez besoin de la puissance supplémentaire.

Quelque chose comme:

#!/bin/perl 

my $out = 0; 
while (<STDIN>) { 
    if /23423423423/ then $out = 1; 
    print $_ if $out; 
} 

et l'exécuter en utilisant:

$ perl mysplit.pl <input> output 

Non testé, j'ai peur.