Enlever des guillemets spéciaux et d'autres caractères

Question

J'essaye de télécharger des articles utilisant Article de newspaper, et essayant de tokenize les mots using nltkword_tokenizer. Le problème est que, lorsque j'essaie d'imprimer le texte de l'article analysé, certains de ces articles ont des guillemets spéciaux comme “, ”, ’, qui ne sont pas filtrés par le tokenizer, comme il le ferait normalement ' et ".

Existe-t-il un moyen de remplacer ces guillemets spéciaux par des guillemets normaux, ou mieux de supprimer tous les caractères spéciaux que le jeton peut manquer?

J'ai essayé d'enlever ces caractères spéciaux en les mentionnant explicitement dans le code, mais cela me donne l'erreur Non-UTF-8 code starting with '\x92'.

Answer 1

L'utilisation du package unidecode remplacerait normalement ces caractères par des UTF-8.

from unidecode import unidecode 
text = unidecode(text) 

Un inconvénient, cependant, est que vous aussi changer certains caractères (par exemple ceux surdimensionnée) que vous souhaitez conserver. Si tel est le cas, une option est d'utiliser regular expressions pour effacer spécifiquement (ou remplacer) certains caractères spéciaux pré-identifiés:

import re 
exotic_quotes = ['\\x92'] # fill this up 
text = re.sub(exotic_quotes, "'", text) # changing the second argument to fill the kind of quote you want to replace the exotic ones with 

J'espère que cela aide!