Chaîne unicode Python avec UTF-8?

Question

Je reviens d'une bibliothèque ce qui semble être une chaîne unicode incorrecte:

>>> title 
u'Sopet\xc3\xb3n' 

Maintenant, ces deux hex échappe, il y a l'encodage UTF-8 pour U + 00F3 LETTRE MINUSCULE LATINE O AIGU. Pour autant que je comprenne, une chaîne unicode en Python devrait avoir le caractère réel, pas le codage UTF-8 pour le personnage, donc je pense que c'est incorrect et vraisemblablement un bug soit dans la bibliothèque ou dans mon entrée, non? La question est, comment puis-je (a) reconnaître que j'ai le texte codé en UTF-8 dans ma chaîne unicode, et (b) convertir cela en une chaîne unicode appropriée?

Je suis perplexe sur (a), car il n'y a rien de mal, d'encodage, à propos de cette chaîne d'origine (c.-à-d., Les deux sont des caractères valides, u'\xc3\xb3' == ³, mais ils ne sont pas supposés être là)

On dirait que je peux obtenir (b) par eval() uant que la sortie repr() moins le devant « u » pour obtenir une str puis décoder la str avec UTF-8:

>>> eval(repr(title)[1:]).decode("utf-8") 
u'Sopet\xf3n' 
>>> print eval(repr(title)[1:]).decode("utf-8") 
Sopetón 

Mais cela semble un peu kludgy. Existe-t-il un moyen officiellement autorisé d'extraire les données brutes d'une chaîne unicode et de traiter cela comme une chaîne normale?

Answer 1

a) Essayez de le passer à travers la méthode ci-dessous.

b)

>>> u'Sopet\xc3\xb3n'.encode('latin-1').decode('utf-8') 
u'Sopet\xf3n' 

Answer 2

Vous devez utiliser:

title.encode ('raw_unicode_escape')

python2:

print(u'\xd0\xbf\xd1\x80\xd0\xb8'.encode('raw_unicode_escape')) 

python3:

print(u'\xd0\xbf\xd1\x80\xd0\xb8'.encode('raw_unicode_escape').decode('utf8'))