UnicodeWarning: Certains caractères ne peuvent être décodés, et ont été remplacés par REMPLACEMENT CARACTÈRE

Question

J'utilise python + BS4 + pyside dans le code, s'il vous plaît regarder la partie du code ci-dessous:

enter code here 
#coding:gb2312 
import urllib2 
import sys 
import urllib 
import urlparse 
import random 
import time 
from datetime import datetime, timedelta 
import socket 
from bs4 import BeautifulSoup 
import lxml.html 
from PySide.QtGui import * 
from PySide.QtCore import * 
from PySide.QtWebKit import * 

def download(self, url, headers, proxy, num_retries, data=None): 
    print 'Downloading:', url 
    request = urllib2.Request(url, data, headers or {}) 
    opener = self.opener or urllib2.build_opener() 
    if proxy: 
     proxy_params = {urlparse.urlparse(url).scheme: proxy} 
     opener.add_handler(urllib2.ProxyHandler(proxy_params)) 
    try: 
     response = opener.open(request) 
     html = response.read() 
     code = response.code 
    except Exception as e: 
     print 'Download error:', str(e) 
     html = '' 
     if hasattr(e, 'code'): 
      code = e.code 
      if num_retries > 0 and 500 <= code < 600: 
       # retry 5XX HTTP errors 
       return self._get(url, headers, proxy, num_retries-1, data) 
     else: 
      code = None 
    return {'html': html, 'code': code} 
def crawling_hdf(openfile): 
filename = open(openfile,'r') 
namelist = filename.readlines() 
app = QApplication(sys.argv) 
for name in namelist:   
    url = "http://so.haodf.com/index/search?type=doctor&kw="+ urllib.quote(name) 
    #get doctor's home page 
    D = Downloader(delay=DEFAULT_DELAY, user_agent=DEFAULT_AGENT, proxies=None, num_retries=DEFAULT_RETRIES, cache=None) 
    html = D(url) 
    soup = BeautifulSoup(html) 
    tr = soup.find(attrs={'class':'docInfo'}) 
    td = tr.find(attrs={'class':'docName font_16'}).get('href') 
    print td 
    #get doctor's detail information page 
    loadPage_bs4(td) 

filename.close() 

if __name__ == '__main__': 
crawling_hdf("name_list.txt") 

Après je lance le programme, il affiche un message Waring:

Avertissement (des avertissements module): fichier "C: \ Python27 \ lib \ site-packages \ BS4 \ dammit.py", ligne 231 « Certains personnages ne pouvaient pas être décodé, et étaient " UnicodeWarning: Certains caractères n'ont pas pu être décodés, et ont été remplacés avec CARACTÈRE DE REMPLACEMENT.

Je l'ai utilisé print str (html) et trouver toutes les langues chinoises dans tages sont le code désordre.

J'ai essayé d'utiliser les solutions "décoder ou encoder" et "gzip" qui sont recherchées sur ce site, mais ça ne marche pas dans mon cas.

Answer 1

Merci beaucoup pour votre aide! Il ressemble à cette page est codée dans gbk. Le problème est qu'il n'y a pas de conversion directe entre utf-8 et gbk (que je suis au courant).

J'ai vu cela workaround utilisé auparavant, essayez:

html.encode('latin-1').decode('gbk').encode('utf-8') 

Answer 2

GBK est l'un des built-in encodings dans le codecs en Python. Cela signifie que partout où vous avez une chaîne d'octets bruts, vous pouvez utiliser la méthode decode et le nom du codec approprié (ou son alias) pour le convertir en chaîne Unicode native. Les œuvres suivantes (adaptées de https://stackoverflow.com/q/36530578/2564301), dans la mesure où le texte renvoyé ne contient pas de caractères «garbage» ou «inconnu», et est en effet différemment codé que la page source (comme vérifié en enregistrant cela comme un nouveau fichier et en comparant les valeurs pour les caractères chinois).

from urllib import request 

def scratch(url,encode='utf-8'): 
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
    headers = {'User-Agent':user_agent} 
    req = request.Request(url,headers=headers) 
    result = request.urlopen(req) 
    page = result.read() 
    u_page = page.decode(encoding="gbk") 
    result.close() 
    print(u_page) 
    return u_page  

page = scratch('http://so.haodf.com/index/search') 
print (page)