Téléchargement de contenu compressé via HTTP à l'aide de Python

Question

Comment puis-je tirer parti de la compression HTTP 1.1 lors du téléchargement de pages Web à l'aide de Python?

J'utilise actuellement le module intégré urllib pour télécharger du contenu Web. En parcourant la documentation, je n'ai trouvé aucune information utilisant effectivement la compression.

Est-il déjà intégré dans urllib ou existe-t-il une autre bibliothèque que je peux utiliser?

Answer 1

httplib2 prend en charge la compression 'deflate' et 'gzip'.

Exemple

import httplib2 
h = httplib2.Http(".cache") 
resp, content = h.request("http://example.org/", "GET") 

Le contenu est décompressée si nécessaire.