Script shell Linux pour compter l'occurrence de la séquence char dans un fichier texte?

Question

J'ai un grand fichier texte (plus de 70mb) et j'ai besoin de compter le nombre de fois qu'une séquence de caractères se produit dans le fichier. Je peux trouver beaucoup de scripts pour cela, mais aucun d'entre eux ne prend en compte qu'une séquence peut commencer et finir sur différentes lignes. Par souci d'efficacité (j'ai en fait beaucoup plus de 1 fichier que je suis en train de traiter), je ne peux pas pré-traiter les fichiers pour supprimer les retours à la ligne.

Exemple: Si je suis à la recherche de "thisIsTheSequence", le fichier suivant aurait 3 matches:

asdasdthisIsTheSequence 
asdasdasthisIsT 
heSequenceasdasdthisIsTheSequ 
encesadasdasda 

Merci pour l'aide.

Answer 1

juste un script awk fera, puisque vous allez traiter un énorme fichier. Faire plusieurs tuyaux peut ralentir les choses.

#!/bin/bash 
awk 'BEGIN{ 
search="thisIsTheSequence" 
total=0 
} 
NR%10==0{ 
    c=gsub(search,"",s) 
    total+=c 
} 
NR{ s=s $0 } 
END{ 
c=gsub(search,"",s) 
print "total count: "total+c 
}' file 

sortie

$ more file 
asdasdthisIsTheSequence 
asdasdasthisIsT 
heSequenceasdasdthisIsTheSequ 
encesadasdasdaasdasdthisIsTheSequence 
asdasdasthisIsT 
heSequenceasdasdthisIsTheSequ 
encesadasdasda 
asdasdthisIsTheSequence 
asdasdasthisIsT 
heSequenceasdasdthisIsTheSequ 
encesadasdasda 

$ ./shell.sh 
total count: 9 

Answer 2

Une option:

echo $((`tr -d "\n" < file | sed 's/thisIsTheSequence/\n/g' | wc -l` - 1)) 

Il y a probablement des méthodes plus efficaces en utilisant les services publics en dehors du noyau de la coque - surtout si vous pouvez adapter le fichier en mémoire.

Answer 3

utiliser quelque chose comme:

head -n LL filename | tail -n YY | grep text | wc -l 

où LL est la dernière ligne de la séquence et YY est le nombre de lignes dans la séquence (c.-à-LL - première ligne)

Answer 4

est-il jamais à avoir plus d'une nouvelle ligne dans votre séquence? Si ce n'est pas le cas, une solution consisterait à diviser votre séquence en deux et à rechercher les moitiés (par exemple, rechercher "thisIsTh" et aussi "eSequence"), puis revenir aux occurrences que vous trouvez et prendre un "plus près". regardez ", c'est-à-dire effacez les nouvelles lignes dans cette zone et recherchez une correspondance.

Fondamentalement, il s'agit d'une sorte de "filtrage" rapide des données pour trouver quelque chose d'intéressant.