Nombre de fois par bigramme a été vu dans une liste jusqu'à un certain point

Question

Disons que j'ai un texte comme celui-ci:

'he is hdajs asdas da he is not asd as da s i am a da daas you am a' 

J'ai créé toutes les bigrammes de ce texte:

>>> bigrams_ 
[('he', 'is'), ('is', 'hdajs'), ('hdajs', 'asdas'), ('asdas', 'da'), ('da', 'he'), ('he', 'is'), ('is', 'not'), ('not', 'asd'), ('asd', 'as'), ('as', 'da'), ('da', 's'), ('s', 'i'), ('i', 'am'), ('am', 'a'), ('a', 'da'), ('da', 'daas'), ('daas', 'you'), ('you', 'am'), ('am', 'a')] 

Maintenant, j'aime créer une nouvelle liste de bigrams où le premier élément de chaque bigram serait un index de position qui montre combien de fois un certain bigram du format ci-dessus a été vu jusqu'à un point dans le texte, et le second élément serait être le bigramme des mots de la liste initiale. Par exemple, dans la liste ci-dessus, le dernier élément ('am', 'a') a été vu 2 fois, donc dans la nouvelle liste il correspondrait à ce bigram: (2, ('am', 'a')). Ce serait une façon concise de faire cela.

Answer 1

Vous pouvez utiliser un defaultdict avec une valeur par défaut d'un objet count et de prendre progressivement la valeur next du compteur de que les clés, par exemple:

from collections import defaultdict 
from itertools import count 

dd = defaultdict(lambda: count(1)) 
bigrams = [('he', 'is'), ('is', 'hdajs'), ('hdajs', 'asdas'), ('asdas', 'da'), ('da', 'he'), ('he', 'is'), ('is', 'not'), ('not', 'asd'), ('asd', 'as'), ('as', 'da'), ('da', 's'), ('s', 'i'), ('i', 'am'), ('am', 'a'), ('a', 'da'), ('da', 'daas'), ('daas', 'you'), ('you', 'am'), ('am', 'a')] 
with_count = [(next(dd[bigram]), bigram) for bigram in bigrams] 

Vous donne:

[(1, ('he', 'is')), 
(1, ('is', 'hdajs')), 
(1, ('hdajs', 'asdas')), 
(1, ('asdas', 'da')), 
(1, ('da', 'he')), 
(2, ('he', 'is')), 
(1, ('is', 'not')), 
(1, ('not', 'asd')), 
(1, ('asd', 'as')), 
(1, ('as', 'da')), 
(1, ('da', 's')), 
(1, ('s', 'i')), 
(1, ('i', 'am')), 
(1, ('am', 'a')), 
(1, ('a', 'da')), 
(1, ('da', 'daas')), 
(1, ('daas', 'you')), 
(1, ('you', 'am')), 
(2, ('am', 'a'))] 

Answer 2

Vous pouvez essayer ceci:

s = 'he is hdajs asdas da he is not asd as da s i am a da daas you am a' 
s1 = s.split() 
new_data = list(set([(s.count(' '.join(b)), b) for b in [(s1[i], s1[i+1]) for i in range(len(s1)-1)]])) 

Sortie:

[(2, ('am', 'a')), (1, ('da', 'daas')), (1, ('not', 'asd')), (1, ('s', 'i')), (1, ('da', 'he')), (1, ('you', 'am')), (2, ('he', 'is')), (1, ('is', 'not')), (1, ('asdas', 'da')), (1, ('asd', 'as')), (1, ('hdajs', 'asdas')), (1, ('a', 'da')), (1, ('daas', 'you')), (2, ('as', 'da')), (1, ('da', 's')), (1, ('is', 'hdajs')), (1, ('i', 'am'))] 

Answer 3

J'aime @JonClements itertools count solution à base de (+1), mais je ne pense pas defaultdict est nécessaire:

from itertools import count 

text = 'he is hdajs asdas da he is not asd as da s i am a da daas you am a' 

words = text.split() 

bigrams = zip(words, words[1:]) 

seen = dict() 

result = [(next(seen.setdefault(bigram, count(1))), bigram) for bigram in bigrams] 

print(*result, sep='\n') 

SORTIE

(1, ('he', 'is')) 
(1, ('is', 'hdajs')) 
(1, ('hdajs', 'asdas')) 
(1, ('asdas', 'da')) 
(1, ('da', 'he')) 
(2, ('he', 'is')) 
(1, ('is', 'not')) 
(1, ('not', 'asd')) 
(1, ('asd', 'as')) 
(1, ('as', 'da')) 
(1, ('da', 's')) 
(1, ('s', 'i')) 
(1, ('i', 'am')) 
(1, ('am', 'a')) 
(1, ('a', 'da')) 
(1, ('da', 'daas')) 
(1, ('daas', 'you')) 
(1, ('you', 'am')) 
(2, ('am', 'a'))