Convertir les entités HTML à Unicode et vice versa

Question

doublons possibles:

• Convert XML/HTML Entities into Unicode String in Python
• HTML Entity Codes to Text

Comment convertir les entités HTML Unicode et vice versa en Python ?

Answer 1

Vous devez avoir BeautifulSoup.

from BeautifulSoup import BeautifulStoneSoup 
import cgi 

def HTMLEntitiesToUnicode(text): 
    """Converts HTML entities to unicode. For example '&' becomes '&'.""" 
    text = unicode(BeautifulStoneSoup(text, convertEntities=BeautifulStoneSoup.ALL_ENTITIES)) 
    return text 

def unicodeToHTMLEntities(text): 
    """Converts unicode to HTML entities. For example '&' becomes '&'.""" 
    text = cgi.escape(text).encode('ascii', 'xmlcharrefreplace') 
    return text 

text = "&, ®, <, >, ¢, £, ¥, €, §, ©" 

uni = HTMLEntitiesToUnicode(text) 
htmlent = unicodeToHTMLEntities(uni) 

print uni 
print htmlent 
# &, ®, <, >, ¢, £, ¥, €, §, © 
# &amp;, &#174;, &lt;, &gt;, &#162;, &#163;, &#165;, &#8364;, &#167;, &#169; 

Answer 2

Quant au "vice versa" (que je me devais, me conduisant à trouver cette question, qui n'a pas aidé, et par la suite another site which had the answer):

u'some string'.encode('ascii', 'xmlcharrefreplace') 

retournera une chaîne de caractères avec des caractères non-ascii transformés en entités XML (HTML).

Answer 3

Comme hekevintran réponse suggère, vous pouvez utiliser cgi.escape(s) pour le codage des piqûres, mais remarquez que le codage de la citation est fausse par défaut dans cette fonction et il peut être une bonne idée de passer l'argument de mot-clé quote=True à côté de votre chaîne. Mais même en passant quote=True, la fonction ne sera pas échapper à des guillemets simples ("'") (En raison de ces problèmes, la fonction a été deprecated depuis la version 3.2)

Il a été suggéré d'utiliser html.escape(s) au lieu de cgi.escape(s). (Nouveau dans la version 3.2)

Egalement html.unescape(s) a été introduced in version 3.4.

Donc, en python 3.4, vous pouvez:

• Utilisez html.escape(text).encode('ascii', 'xmlcharrefreplace').decode() pour convertir des caractères spéciaux en entités HTML.
• et html.unescape(text) pour la conversion des entités HTML en représentations de texte brut.

Answer 4

Mise à jour pour Python 2.7 et BeautifulSoup4

Unescape - Unicode HTML unicode avec htmlparser (Python 2.7 lib standard):

>>> escaped = u'Monsieur le Curé of the «Notre-Dame-de-Grâce» neighborhood' 
>>> from HTMLParser import HTMLParser 
>>> htmlparser = HTMLParser() 
>>> unescaped = htmlparser.unescape(escaped) 
>>> unescaped 
u'Monsieur le Cur\xe9 of the \xabNotre-Dame-de-Gr\xe2ce\xbb neighborhood' 
>>> print unescaped 
Monsieur le Curé of the «Notre-Dame-de-Grâce» neighborhood 

Unescape - Unicode HTML en Unicode avec bs4 (BeautifulSoup4):

>>> html = '''<p>Monsieur le Cur&eacute; of the &laquo;Notre-Dame-de-Gr&acirc;ce&raquo; neighborhood</p>''' 
>>> from bs4 import BeautifulSoup 
>>> soup = BeautifulSoup(html) 
>>> soup.text 
u'Monsieur le Cur\xe9 of the \xabNotre-Dame-de-Gr\xe2ce\xbb neighborhood' 
>>> print soup.text 
Monsieur le Curé of the «Notre-Dame-de-Grâce» neighborhood 

Escape - Unicode en Unicode HTML avec bs4 (BeautifulSoup4):

>>> unescaped = u'Monsieur le Curé of the «Notre-Dame-de-Grâce» neighborhood' 
>>> from bs4.dammit import EntitySubstitution 
>>> escaper = EntitySubstitution() 
>>> escaped = escaper.substitute_html(unescaped) 
>>> escaped 
u'Monsieur le Curé of the «Notre-Dame-de-Grâce» neighborhood' 

Answer 5

J'ai utilisé la fonction suivante pour convertir unicode extrait d'un fichier xls en un fichier html tout en conservant les caractères spéciaux trouvés dans le fichier xls:

def html_wr(f, dat): 
    ''' write dat to file f as html 
     . file is assumed to be opened in binary format 
     . if dat is nul it is replaced with non breakable space 
     . non-ascii characters are translated to xml  
    ''' 
    if not dat: 
     dat = ' ' 
    try: 
     f.write(dat.encode('ascii')) 
    except: 
     f.write(html.escape(dat).encode('ascii', 'xmlcharrefreplace')) 

Espérons que cela est utile à quelqu'un

Answer 6

Si quelqu'un comme moi est là-bas se demander pourquoi certains numéros d'entité (codes) comme ™ (for trademark symbol), € (for euro symbol) ne sont pas codés correctement, la raison est dans la norme ISO-8859-1 (alias Windows-1252) ces caractères ne sont pas définis.

Notez également que, le caractère par défaut défini au html5 est utf-8 était ISO-8859-1 pour html4

Ainsi, nous devrons contourner en quelque sorte (trouver & remplacer ceux au premier)

référence (point de départ) de la documentation de Mozilla

https://developer.mozilla.org/en-US/docs/Web/Guide/Localizations_and_character_encodings