ngrams (modifier le script bash existant)

Question

Une personne réfléchie et intelligente m'a aidé avec un script bash, mais j'ai récemment réalisé que je n'expliquais pas clairement ce que je voulais. J'ai une longue liste de phrases (ngrams) dans un fichier texte. Si une phrase est un fragment d'une autre, seule la plus longue est utile, de sorte que la plus courte doit être supprimée. Le code ci-dessous supprime le plus long. J'espère que changer cela va changer quelques caractères.

#! /bin/bash 
((n=${1:-0})) || exit 1 

declare -A ngrams 

while read -ra line; do 
    for ((i = 0; i < ${#line[@]}; i++)); do 
      ((ngrams[${line[@]:i:n}]++)) 
    done 
done 

for i in "${!ngrams[@]}"; do 
    printf '%d\t%s\n' "${ngrams[$i]}" "$i" 
done 

Answer 1

pas en changeant quelques personnages, mais récemment écrit:

#! /bin/bash 

declare -a ngrams 
mapfile -t ngrams < $1 
for ((i=0; i<${#ngrams[@]}; i++)); do 
    for ((j=0; j<${#ngrams[@]}; j++)); do 
     if (( i!=j)) && [[ "${ngrams[j]}" == *"${ngrams[i]}"* ]]; then 
      continue 2 
     fi 
    done 
    echo ${ngrams[i]} >> $2 
done 

Vous pouvez appeler par ngram.sh <infile> <outfile>. E.g .:

> cat txt.in 
foo 
me me me 
kaaz 
bar 
foo bar 
blub 
me 
> ./ngram.sh txt.in txt.out 
> cat txt.out 
me me me 
kaaz 
foo bar 
blub