mergnig POS tag par bloc nominal chunk

Question

Ma question est similaire à question. Dans spacy, je peux faire un étiquetage de partie de la parole et une identification de phrase nominale séparément, par exemple.

import spacy 
nlp = spacy.load('en') 
sentence = 'For instance , consider one simple phenomena : 
      a question is typically followed by an answer , 
      or some explicit statement of an inability or refusal to answer .' 
token = nlp(sentence) 
token_tag = [(word.text, word.pos_) for word in token] 

résultat ressemble à:

[('For', 'ADP'), 
('instance', 'NOUN'), 
(',', 'PUNCT'), 
('consider', 'VERB'), 
('one', 'NUM'), 
('simple', 'ADJ'), 
('phenomena', 'NOUN'), 
...] 

Pour syntagmes nominaux ou morceau, je peux obtenir noun_chunks qui est un morceau de mots comme suit:

[nc for nc in token.noun_chunks] # [instance, one simple phenomena, an answer, ...] 

Je me demande s'il est un moyen de grouper l'étiquette POS basée sur noun_chunks de sorte que je reçois la sortie comme

[('For', 'ADP'), 
('instance', 'NOUN'), # or NOUN_CHUNKS 
(',', 'PUNCT'), 
('one simple phenomena', 'NOUN_CHUNKS'), 
...] 

Answer 1

J'ai compris comment le faire. En gros, nous pouvons obtenir commencer et de fin du jeton de syntagme nominal comme suit:

noun_phrase_position = [(s.start, s.end) for s in token.noun_chunks] 
noun_phrase_text = dict([(s.start, s.text) for s in token.noun_chunks]) 
token_pos = [(i, t.text, t.pos_) for i, t in enumerate(token)] 

Je combine avec ce solution afin de fusionner la liste des token_pos basée sur start, stop Position

result = [] 
for start, end in noun_phrase_position: 
    result += token_pos[index:start] 
    result.append(token_pos[start:end]) 
    index = end 

result_merge = [] 
for i, r in enumerate(result): 
    if len(r) > 0 and isinstance(r, list): 
     result_merge.append((r[0][0], noun_phrase_text.get(r[0][0]), 'NOUN_PHRASE')) 
    else: 
     result_merge.append(r) 

Sortie

[(1, 'instance', 'NOUN_PHRASE'), 
(2, ',', 'PUNCT'), 
(3, 'consider', 'VERB'), 
(4, 'one simple phenomena', 'NOUN_PHRASE'), 
(7, ':', 'PUNCT'), 
(8, 'a', 'DET'), ...