Confus au sujet des représentations Unicode

Question

Je suis confus au sujet de la représentation hexadécimale d'Unicode. J'ai un exemple de fichier avec un seul caractère mathématique de signe intégral. C'est U + 222B Si je cat le fichier ou l'édite en vi, j'obtiens un signe intégral affiché. Un vidage hexadécimal du fichier montre que son contenu hexadécimal est 88e2 0aab

En python, je peux créer un caractère Unicode intégral et imprimer p rendu sur mon terminal et le signe intégral.

>>> p=u'\u222b' 
>>> p 
u'\u222b' 
>>> print p 
∫ 

Ce qui me embrouille est que je peux ouvrir un fichier avec le signe intégral dans, obtenir le symbole intégral mais le contenu hexadécimal est différent.

>>> c=open('mycharfile','r').read() 
>>> c 
'\xe2\x88\xab\n' 
>>> print c 
∫ 

One est un objet Unicode et une est une chaîne simple, mais quelle est la relation entre les deux codes hexagonaux apparemment pour le même personnage? Comment pourrais-je convertir manuellement l'un à l'autre?

Answer 1

La chaîne en clair a été codée en utilisant UTF-8, l'une des nombreuses façons de représenter les points de code Unicode en octets. UTF-8 est un encodage multi-octets qui a la caractéristique souvent utile que c'est un sur-ensemble d'ASCII - le même octet encode tout caractère ASCII en UTF-8 ou en ASCII.

En Python 2.x, utilisez la méthode encode sur un objet Unicode pour coder, et decode ou le constructeur unicode à décoder:

>>> u'\u222b'.encode('utf8') 
'\xe2\x88\xab' 
>>> '\xe2\x88\xab'.decode('utf8') 
u'\u222b' 
>>> unicode('\xe2\x88\xab', 'utf8') 
u'\u222b' 

print, lorsqu'il est administré un argument Unicode, code pour implicitement . Sur mon système:

>>> sys.stdout.encoding 
'UTF-8' 

Voir cette réponse pour une discussion plus du comportement de print: Why does Python print unicode characters when the default encoding is ASCII?

Python 3 choses gère un peu différemment; les changements sont documentés ici: http://docs.python.org/3.0/whatsnew/3.0.html#text-vs-data-instead-of-unicode-vs-8-bit

Answer 2

D'accord je l'ai. Merci pour les réponses. Je voulais voir comment faire la conversion plutôt que de convertir une chaîne en utilisant Python.

la conversion fonctionne de cette façon.

Si vous avez un caractère Unicode, dans mon exemple un symbole intégral.

décharge Octal produit

echo -n "∫"|od -x 
0000000 88e2 00ab 

Chaque paire hexagonale sont inversés de sorte que cela signifie vraiment

e288ab00 

Le premier caractère hexagonal est E. le bit signifie ceci est une chaîne Unicode et les deux suivantes bits indiquent qu'il est 3 trois octets (16 bits) pour représenter le personnage. Les deux premiers bits des chiffres hexadécimaux restants sont jetés (ils signifient qu'ils sont unicode.) Le flux complet de bits est

111000101000100010101011 

Jeter les 4 premiers bits et les deux premiers bits des chiffres hexadécimaux restants

0010001000101011 

Re exprimant cela en hex

222B 

Ils tu l'as!