Tokenize ne fonctionne pas avec une entrée de chaîne

Question

J'ai déjà posté sur une chaîne que j'extrais d'un lien, pour laquelle je veux appliquer tokenize, sans chance. Alors essayé un exemple simplifié: ma ligne de commande est très simple:

a="Any Random text at all , nothing freaking works" 
sentences = nltk.sent_tokenize(a) 

Je reçois constamment:

TypeError: Can't convert 'list' object to str implicitly 

J'ai essayé str.(a), a.split, a=a[0] et vérifié:

>>> type(a) 
<class 'str'> 

Y at-il quelque chose qui ne va pas avec mon Python? J'ai vérifié des exemples et cela devrait apparemment fonctionner. Apprécierais vraiment si quelqu'un pouvait courir et voir s'ils obtiennent des résultats et si oui, ce qui pourrait être mal avec mon Python

Answer 1

Il est le problème dans le paquet lui-même NLTK. Comme dans l'image, ce n'est pas le paramètre passé mais littéral [''] dans nltk/data.py qui est considéré comme liste et convertissant en chaîne.

Ré-installer le paquet nltk peut aider?

montrent la ligne 69e nltk/data.py il devrait être path = []