Python - Unicode et double-barre oblique inverse

Question

J'ai mis au rebut une page Web avec BeautifulSoup. Je obtenu une grande sortie à l'exception des parties de l'apparence de la liste comme celui-ci après avoir reçu le texte:

list = [u'that\\u2019s', u'it\\u2019ll', u'It\\u2019s', u'don\\u2019t', u'That\\u2019s', u'we\\u2019re', u'\\u2013'] 

Ma question est de savoir comment se débarrasser ou remplacer ces doubles antislashs avec les caractères spéciaux qu'ils sont.

Si j'imprime le premier le premier élément de l'exemple liste la sortie ressemble

print list[0] 
that\u2019s 

J'ai déjà lu beaucoup d'autres questions/discussions sur ce sujet mais je fini par être encore plus confus, comme Je suis un débutant en considérant unicode/encodage/décodage.

J'espère que quelqu'un pourrait m'aider avec ce problème.

Merci! MG

Answer 1

le problème est que le site a fini par assurer un double codage ces arguments unicode, il suffit de ce qui suit:

ls = [u'that\\u2019s', u'it\\u2019ll', u'It\\u2019s', u'don\\u2019t', u'That\\u2019s', u'we\\u2019re', u'\\u2013'] 

ls = map(lambda x: x.decode('unicode-escape'), ls) 

maintenant vous avez une liste avec des chaînes correctement UNICODE codées:

for a in ls: 
    print a 

Answer 2

Puisque vous utilisez Python 2, il suffit de réappliquer la méthode "decode" en utilisant le codec spécial "unicode_escape". Il « voit » les contrecoups « physiques » et décode ces séquences propres caractères unicode:

data = [u'that\\u2019s', u'it\\u2019ll', u'It\\u2019s', u'don\\u2019t', u'That\\u2019s', u'we\\u2019re', u'\\u2013'] 

result = [part.decode('unicode_escape') for part in data] 

Pour aAnyone obtenir ici en utilisant python3: dans cette version ne peut pas appliquer la méthode du « décodage » aux str objets livrés par beautifulsoup - il faut d'abord les réencoder en objets octets, puis les décoder avec le codec uncode_escape. À ces fins, il est utile d'utiliser des latin1 codec comme le transparent encodage: tous les octets dans l'objet str sont conservés dans les nouveaux octets objet:

result = [part.encode('latin1').decode('unicode_escape') for part in data]