Voici un script qui, pour l'effacement tolérant des références HTML à partir de pages Web, suppose que les références sont, par ex. en ° format avec un point-virgule après eux cependant (Preheat oven to 350° F par exemple):
from htmlentitydefs import name2codepoint
# Get the whitespace characters
nums_dict = {0: ' ', 1: '\t', 2: '\r', 3: '\n'}
chars_dict = dict((x, y) for y, x in nums_dict.items())
nums_dict2XML = {0: ' ', 1: '	', 2: ' ', 3: ' '}
chars_dict2XML = dict((nums_dict[i], nums_dict2XML[i]) for i in nums_dict2XML)
s = '1234567890ABCDEF'
hex_dict = {}
for i in s:
hex_dict[i.lower()] = None
hex_dict[i.upper()] = None
del s
def is_hex(s):
if not s:
return False
for i in s:
if i not in hex_dict:
return False
return True
class Unescape:
def __init__(self, s, ignore_whitespace=False):
# Converts HTML character references into a unicode string to allow manipulation
self.s = s
self.ignore_whitespace = ignore_whitespace
self.lst = self.process(ignore_whitespace)
def process(self, ignore_whitespace):
def get_char(c):
if ignore_whitespace:
return c
else:
if c in chars_dict:
return chars_dict[c]
else: return c
r = []
lst = self.s.split('&')
xx = 0
yy = 0
for item in lst:
if xx:
split = item.split(';')
if split[0].lower() in name2codepoint:
# A character reference, e.g. '&'
a = unichr(name2codepoint[split[0].lower()])
r.append(get_char(a)) # TOKEN CHECK?
r.append(';'.join(split[1:]))
elif split[0] and split[0][0] == '#' and split[0][1:].isdigit():
# A character number e.g. '4'
a = unichr(int(split[0][1:]))
r.append(get_char(a))
r.append(';'.join(split[1:]))
elif split[0] and split[0][0] == '#' and split[0][1:2].lower() == 'x' and is_hex(split[0][2:]):
# A hexadecimal encoded character
a = unichr(int(split[0][2:].lower(), 16)) # Hex -> base 16
r.append(get_char(a))
r.append(';'.join(split[1:]))
else:
r.append('&%s' % ';'.join(split))
else:
r.append(item)
xx += 1
yy += len(r[-1])
return r
def get_value(self):
# Convert back into HTML, preserving
# whitespace if self.ignore_whitespace is `False`
r = []
for i in self.lst:
if type(i) == int:
r.append(nums_dict2XML[i])
else:
r.append(i)
return ''.join(r)
def unescape(s):
# Get the string value from escaped HTML `s`, ignoring
# explicit whitespace like tabs/spaces etc
inst = Unescape(s, ignore_whitespace=True)
return ''.join(inst.lst)
if __name__ == '__main__':
print unescape('Preheat oven to 350° F')
print unescape('Welcome to Lorem Ipsum Inc®')
EDIT: Voici une solution simple qui ne fait que remplacer les références de caractères avec des caractères et non &#xx; références:
from htmlentitydefs import name2codepoint
def unescape(s):
for name in name2codepoint:
s = s.replace('&%s;' % name, unichr(name2codepoint[name]))
return s
print unescape('Preheat oven to 350° F')
print unescape('Welcome to Lorem Ipsum Inc®')
Pouvez-vous un peu de code que nous pouvons exécuter qui illustre le problème? –
-1 pour ne pas inclure le code _any_. – hop
Vous devriez supprimer le code que vous avez mis dans les commentaires ci-dessous et le mettre dans votre question à la place; vous devriez également le marquer comme code pour qu'il s'affiche correctement (sélectionnez le bloc et appuyez sur Ctrl + K). J'ai pris la liberté d'éditer votre message un peu. –