Marquage de pos-niveau de mot en Python

Question

J'essaye de faire l'étiquette de position pour chaque mot dans chaque ligne (chaque ligne contient plusieurs phrases).

Je possède ce code:

import nltk import pos_tag 
import nltk.tokenize import word_tokenize 

f = open('C:\Users\test_data.txt') 
data = f.readlines() 

#Parse the text file for NER with POS Tagging 
for line in data: 
    tokens = nltk.word_tokenize(line) 
    tagged = nltk.pos_tag(tokens) 
    entities = nltk.chunk.ne_chunk(tagged) 
    print entities 
f.close() 

Mais le code donne une étiquette pour chaque ligne et la sortie ressemble à ceci:

[('L'appartement est tout neuf et vierge dans sa propreté. ',' NNP '), (' 'Super petit endroit dans les montagnes.' ',' NNP '), (' Endroit très confortable près de l'arrêt fatima luas, j'adore cet endroit. \ Njose et vadym sont très accueillants et m'a très bien traité. "NNP"), ("Très serviable et communicatif hôte.Excellent emplacement, bien relié aux transports publics.La chambre était un peu trop petit pour un couple et le manque de cu pboards a été douloureusement senti. \ n \ nOinwise tout à fait propre et bien maintenu. ',' NNP '), (' Tout était exactement comme décrit. C'est beau. ',' NNP ')]

Mon code a' tokenizer 'et je ne sais pas quel est le problème avec mon code. J'ai besoin de balise pos pour chaque mot au lieu de chaque ligne. Mais chaque ligne doit toujours être découpée (ou distinguée) entre parenthèses ou quelque chose comme ça.

Answer 1

(pur copier coller de ce qui fonctionne sur mon ordinateur)

Marchepied votre code (notez simple déclaration d'importation):

#!/usr/bin/env python3 
# encoding: utf-8 
import nltk 
f = open('/home/matthieu/Téléchargements/testtext.txt') 
data = f.readlines() 

for line in data: 
    tokens = nltk.word_tokenize(line) 
    tagged = nltk.pos_tag(tokens) 
    entities = nltk.chunk.ne_chunk(tagged) 
    print(entities) 
f.close() 

Sur le fichier texte brut unicode suivant (3 lignes):

(this is a first example.)(Another sentence in another parentheses.) 
(onlyone in that line) 
this is a second one wihtout parenthesis. (Another sentence in another parentheses.) 

Je reçois les résultats suivants:

(S 
(/(
this/DT 
is/VBZ 
a/DT 
first/JJ 
example/NN 
./. 
)/) 
(/(
Another/DT 
sentence/NN 
in/IN 
another/DT 
parentheses/NNS 
./. 
)/)) 
(S (/(onlyone/NN in/IN that/DT line/NN)/)) 
(S 
this/DT 
... 

Comme vous pouvez le voir, il n'y a pas de problème particulier. Analysez-vous correctement vos données csv? csv est-il utile dans votre cas? avez-vous essayé d'utiliser un simple fichier texte?