Proxy avec urllib2

Question

I ouvrir urls avec:

site = urllib2.urlopen('http://google.com')

Et ce que je veux faire est de connecter la même manière avec un proxy je me suis dit quelque part:

site = urllib2.urlopen('http://google.com', proxies={'http':'127.0.0.1'})

mais cela n'a pas fonctionné non plus.

Je sais que urllib2 a quelque chose comme un gestionnaire de proxy, mais je ne me souviens pas de cette fonction.

Answer 1

proxy = urllib2.ProxyHandler({'http': '127.0.0.1'}) 
opener = urllib2.build_opener(proxy) 
urllib2.install_opener(opener) 
urllib2.urlopen('http://www.google.com') 

Answer 2

Vous devez installer un ProxyHandler

urllib2.install_opener(
    urllib2.build_opener(
     urllib2.ProxyHandler({'http': '127.0.0.1'}) 
    ) 
) 
urllib2.urlopen('http://www.google.com') 

Answer 3

Pour utiliser les procurations par défaut du système (par exemple à partir de la variable d'environnement http_support), les travaux suivants pour la demande actuelle (sans l'installer dans urllib2 globalement) :

url = 'http://www.example.com/' 
proxy = urllib2.ProxyHandler() 
opener = urllib2.build_opener(proxy) 
in_ = opener.open(url) 
in_.read() 

Answer 4

Vous pouvez définir des proxies à l'aide de variables d'environnement.

import os 
os.environ['http_proxy'] = '127.0.0.1' 
os.environ['https_proxy'] = '127.0.0.1' 

urllib2 ajoutera les gestionnaires de proxy automatiquement cette façon. Vous devez définir des proxys pour différents protocoles séparément, sinon ils échoueront (en termes de ne pas passer par proxy), voir ci-dessous.

Par exemple:

proxy = urllib2.ProxyHandler({'http': '127.0.0.1'}) 
opener = urllib2.build_opener(proxy) 
urllib2.install_opener(opener) 
urllib2.urlopen('http://www.google.com') 
# next line will fail (will not go through the proxy) (https) 
urllib2.urlopen('https://www.google.com') 

lieu

proxy = urllib2.ProxyHandler({ 
    'http': '127.0.0.1', 
    'https': '127.0.0.1' 
}) 
opener = urllib2.build_opener(proxy) 
urllib2.install_opener(opener) 
# this way both http and https requests go through the proxy 
urllib2.urlopen('http://www.google.com') 
urllib2.urlopen('https://www.google.com') 

Answer 5

En plus de la réponse acceptée: Mon scipt m'a donné une erreur a été d'ajouter

File "c:\Python23\lib\urllib2.py", line 580, in proxy_open 
    if '@' in host: 
TypeError: iterable argument required 

Solution http:// devant la chaîne de proxy:

proxy = urllib2.ProxyHandler({'http': 'http://proxy.xy.z:8080'}) 
opener = urllib2.build_opener(proxy) 
urllib2.install_opener(opener) 
urllib2.urlopen('http://www.google.com') 

Answer 6

En outre définir le proxy pour la ligne de commande la session Ouvrez une ligne de commande où vous pouvez lancer votre script

netsh winhttp set proxy YourProxySERVER:yourProxyPORT 

exécuter votre script dans ce terminal.

Answer 7

On peut également utiliser des requêtes si l'on souhaite accéder à une page web en utilisant des proxies. Code Python 3:

>>> import requests 
>>> url = 'http://www.google.com' 
>>> proxy = '169.50.87.252:80' 
>>> requests.get(url, proxies={"http":proxy}) 
<Response [200]> 

Plus d'un proxy peut également être ajouté.

>>> proxy1 = '169.50.87.252:80' 
>>> proxy2 = '89.34.97.132:8080' 
>>> requests.get(url, proxies={"http":proxy1,"http":proxy2}) 
<Response [200]>