Comment gérer UnicodeDecodeError sans perdre de données?

Question

J'utilise Python & lxml et je suis coincé avec une erreur

Mon code

>>>import urllib 
>>>from lxml import html 

>>>response = urllib.urlopen('http://www.edmunds.com/dealerships/Texas/Grapevine/GrapevineFordLincoln_1/fullservice-505318162.html').read() 
>>>dom = html.fromstring(response) 

>>>dom.xpath("//div[@class='description item vcard']")[0].xpath(".//p[@class='service-review-paragraph loose-spacing']")[0].text_content() 

Traceback

Traceback (most recent call last): 
File "<stdin>", line 1, in <module> 
File "/usr/local/lib/python2.7/dist-packages/lxml/html/__init__.py", line 249, in text_content 
return _collect_string_content(self) 
File "xpath.pxi", line 466, in lxml.etree.XPath.__call__ (src/lxml/lxml.etree.c:119105) 
File "xpath.pxi", line 242, in lxml.etree._XPathEvaluatorBase._handle_result (src/lxml/lxml.etree.c:116936) 
File "extensions.pxi", line 552, in lxml.etree._unwrapXPathObject (src/lxml/lxml.etree.c:112473) 
File "apihelpers.pxi", line 1344, in lxml.etree.funicode (src/lxml/lxml.etree.c:21864) 
UnicodeDecodeError: 'utf8' codec can't decode byte 0x93 in position 477: invalid start byte 

Le problème est le caractère spécial qui est présent dans le div je vais chercher. Comment puis-je encoder/décoder le texte sans perdre de données?

Answer 1

L'analyseur suppose qu'il s'agit d'un fichier utf-8, mais ce n'est pas le cas. la chose la plus simple serait de le convertir en unicode d'abord, en connaissant le codage de la page

>>> url = urllib.urlopen('http://www.edmunds.com/dealerships/Texas/Grapevine/GrapevineFordLincoln_1/fullservice-505318162.html') 
>>> url.headers.get('content-type') 
'text/html; charset=ISO-8859-1' 

>>> response = url.read() 
#let's convert to unicode first 
>>> response_unicode = codecs.decode(response, 'ISO-8859-1') 
>>> dom = html.fromstring(response_unicode) 
#and now... 
>>> dom.xpath("//div[@class='description item vcard']")[0].xpath(".//p[@class='service-review-paragraph loose-spacing']")[0].text_content() 
u'\n     On December 5th, my vehicle completely shut down.\nI had it towed to Grapevine Ford where they told me that the intak..... 

Tada!

Answer 2

Il semble donc que la page est corrompue. L'encodage UTF-8 est spécifié, mais n'est pas valide dans cet encodage.

urlopen(...).read() renvoie une chaîne d'octets (str). Lorsque vous l'alimentez à lxml, il tente de le décoder avec UTF-8 et échoue.

Cela pourrait ne pas être la meilleure façon, mais nous pouvons spécifier un codage différent manuellement, comme le latin-1:

response = urllib.urlopen(...).read().decode('latin-1')

Maintenant response est une chaîne de texte (unicode), et c'est ce que LXML veut travailler avec.