Python regex chaîne à la liste des mots (y compris les mots avec des tirets)

Question

Je voudrais analyser une chaîne pour obtenir une liste comprenant tous les mots (mots coupés, aussi). Code actuel est:

s = '-this is. A - sentence;one-word' 
re.compile("\W+",re.UNICODE).split(s) 

retours:

['', 'this', 'is', 'A', 'sentence', 'one', 'word'] 

et je voudrais qu'il revienne:

['', 'this', 'is', 'A', 'sentence', 'one-word'] 

Answer 1

Vous pouvez utiliser "[^\w-]+" à la place.

Answer 2

Yo peut essayer avec la bibliothèque NLTK:

>>> import nltk 
>>> s = '-this is a - sentence;one-word' 
>>> hyphen = r'(\w+\-\s?\w+)' 
>>> wordr = r'(\w+)' 
>>> r = "|".join([ hyphen, wordr]) 
>>> tokens = nltk.tokenize.regexp_tokenize(s,r) 
>>> print tokens 
['this', 'is', 'a', 'sentence', 'one-word'] 

je l'ai trouvé ici: http://www.cs.oberlin.edu/~jdonalds/333/lecture03.html Hope it helps

Answer 3

Si vous n'avez pas besoin la principale chaîne vide, vous pouvez utiliser le modèle pour \w(?:[-\w]*\w)?correspondant:

>>> import re 
>>> s = '-this is. A - sentence;one-word' 
>>> rx = re.compile(r'\w(?:[-\w]*\w)?') 
>>> rx.findall(s) 
['this', 'is', 'A', 'sentence', 'one-word'] 

Notez qu'il ne correspond pas à des mots avec comme 012 apostrophes.

Answer 4

s = "-this is. A - sentence;one-word what's"
re.findall("\w+-\w+|[\w']+",s)

résultat: [ 'ce', 'est', 'A', 'phrase', 'un mot, "ce qui est"]

assurez-vous remarquez que le bon commander est de chercher des mots hyphénés en premier!

Answer 5

Voici ma traditionnelle « pourquoi utiliser la langue de regexp lorsque vous pouvez utiliser Python » alternatif:

import string 
s = "-this is. A - sentence;one-word what's" 
s = filter(None,[word.strip(string.punctuation) 
       for word in s.replace(';','; ').split() 
       ]) 
print s 
""" Output: 
['this', 'is', 'A', 'sentence', 'one-word', "what's"] 
"""