Erreur de grattage Web Python - TypeError: impossible d'utiliser un modèle de chaîne sur un objet de type octets

Question

Je souhaite créer un scraper Web. Actuellement, j'apprends Python. C'est les bases mêmes!

python code

import urllib.request 
import re 

htmlfile = urllib.request.urlopen("http://basketball.realgm.com/") 

htmltext = htmlfile.read() 
title = re.findall('<title>(.*)</title>', htmltext) 

print (htmltext) 

Erreur:

File "C:\Python33\lib\re.py", line 201, in findall 
    return _compile(pattern, flags).findall(string) 
TypeError: can't use a string pattern on a bytes-like object 

Answer 1

Vous devez décoder vos données. Depuis le site en question dit

charset=iso-8859-1 

utiliser cela. utf-8 ne fonctionnera pas dans ce cas.

htmltext = htmlfile.read().decode('iso-8859-1') 

Answer 2

Utilisation octets littéral comme motif:

title = re.findall(b'<title>(.*)</title>', htmltext) 

ou décoder les données extraites à chaîne:

title = re.findall('<title>(.*)</title>', htmltext.decode('utf-8')) 

(modifiez utf-8 avec l'encodage approprié du document)