Python vérifier l'URL va à une page

Question

J'ai une liste d'URL (1000+) qui ont été stockés depuis plus d'un an maintenant. Je veux les parcourir et les vérifier tous pour voir s'ils existent toujours. Quel est le meilleur moyen de les vérifier tous et de renvoyer une liste de ceux qui ne renvoient pas un site?

Answer 1

c'est un peu lent, mais vous pouvez utiliser quelque chose comme ceci pour vérifier si l'URL est un live

import urllib2 

try: 
    urllib2.urlopen(url) 
    return True   # URL Exist 
except ValueError, ex: 
    return False  # URL not well formatted 
except urllib2.URLError, ex: 
    return False  # URL don't seem to be alive 

plus rapide que urllib2 vous pouvez utiliser httplib

import httplib 

try: 
    a = httplib.HTTPConnection('google.com') 
    a.connect() 
except httplib.HTTPException as ex: 
    print "not connected" 

vous pouvez également faire Checkout DNS (il n'est pas très pratique de vérifier si un site web n'existe pas):

import socket 

try: 
    socket.gethostbyname('www.google.com') 
except socket.gaierror as ex: 
    print "not existe" 

Answer 2

Chec k ceci:

Ping in python

End puis:

import ping, socket 
try: 
    result = ping.do_one('http://stackoverflow.com/', timeout=2) 
except socket.error, e: 
    # url cannot be reached 
    print "Error:", e