un vérificateur de liens en python

Question

Je dois créer une fonction en python qui recherche des liens dans une page HTML et ensuite pour chaque lien, vérifiez si le lien est cassé ou non.

Tout d'abord j'ai créé une fonction qui recherche chaque lien (cassé ou non), pas de problème et les stocke dans un tableau appelé "g".

Deuxièmement, j'ai pensé à créer un tableau "a" qui ne contient que les liens rompus en vérifiant chaque élément/élément dans le tableau "g".

Je ne sais pas pourquoi, le lien de vérification par lien ne fonctionne pas dans la fonction. Mais si je copie un lien et le colle comme un paramètre dans la fonction sur le shell, cela fonctionne.

import urllib.request 
import re 
import urllib.error 

def check(url): 
    try: 
     f= urllib.request.urlopen(url) 
    except urllib.error.HTTPError : 
      return False 
    return True 
def trouveurdurls(url): 
    f= urllib.request.urlopen(url) 
    b=(f.read().decode('utf-8')) 
    d=re.findall('<a href=".*</a>',b) 
    liste=[] 
    f.close() 
    for el in d: 
     g=re.findall('"https?://.*\.*"',el) 
     liste.append(g) 
    a=[] 
    for el in liste: 
     chaine= ''.join(map(str,el)) 
     url=chaine.replace('\'','') 
     print(url) 
     #check(url) 


b=trouveurdurls("http://127.0.0.1/") 

Answer 1

Voici une version qui utilise "demandes". Il gratte la page pour les URL, puis vérifie chacune des URL pour leurs codes de réponse (200 signifie que cela a fonctionné, etc).

import requests 
from bs4 import BeautifulSoup 

page = 'http://the.web.site' 

r = requests.get(page) 

data = r.text 

soup = BeautifulSoup(data, 'lxml') 

urls = [] 

for a in soup.find_all('a'): 
    urls.append(a.get('href')) 

url_responses = {} 

for url in urls: 
    temp_r = requests.get(url) 
    url_responses[url] = temp_r.status_code 

Answer 2

Je serais très surpris si la ligne

d=re.findall('<a href=".*</a>',b) 

a fonctionné correctement. L'astérisque fait un match gourmand, ce qui signifie qu'il trouve le match le plus long possible. Si vous avez plus d'un lien dans votre document, cette regex engloutira tout entre le premier et le dernier lien.

Vous devriez probablement utiliser la version non gourmande de l'astérisque, par ex. * ?.

En outre, vous êtes seulement intéressé par l'attribut href, si

d = re.findall('<a href=".*?"', b) 

est probablement ce que vous voulez. Cela rendra le code suivant plus facile; Vous n'aurez pas besoin d'essayer de rechercher les URL commençant par http: // car vous les avez déjà dans le tableau d. Votre code tel qu'il est trouverait également des URL qui ne faisaient pas partie de l'attribut href d'un a mais juste une partie du texte normal, ou une partie d'une référence d'image, etc.

Notez que même l'expression régulière <a href=".*?" ne sera pas constamment produire des correspondances, parce que HTML est très paresseux avec sa syntaxe, de sorte que vous pouvez également rencontrer des chaînes comme <A HREF='.....'>, <a href = "....., <a id="something" href="......"> et ainsi de suite.

Vous devrez soit améliorer l'expression rationnelle pour correspondre à tous ces cas, ou se tourner vers BeautifulSoup comme la réponse d'Evan ou un analyseur HTML à part entière qui prend soin de lui pour vous.