Obtenir tous les liens d'une page Belle soupe

Question

J'utilise beautifulsoup pour obtenir tous les liens d'une page. Mon code est:

import requests 
from bs4 import BeautifulSoup 


url = 'http://www.acontecaeventos.com.br/marketing-promocional-sao-paulo' 
r = requests.get(url) 
html_content = r.text 
soup = BeautifulSoup(html_content, 'lxml') 

soup.find_all('href') 

Tout ce que je reçois est:

[] 

Comment puis-je obtenir une liste de tous les liens href sur cette page?

Answer 1

Vous dites la find_all méthode pour trouver href étiquettes, pas attributs.

Vous devez trouver les balises <a>, elles sont utilisées pour représenter les éléments de lien.

links = soup.find_all('a') 

Plus tard, vous pouvez accéder à leurs href attributs comme ceci:

link = links[0]   # get the first link in the entire page 
url = link['href']  # get value of the href attribute 
url = link.get('href') # or like this 

Answer 2

Remplacez votre dernière ligne:

links = soup.find_all('a') 

par cette ligne:

links = [a.get('href') for a in soup.find_all('a', href=True)] 

Il abolira tous les a et pour chaque balise a, l'attribut href sera ajouté à la liste des liens.

Si vous voulez en savoir plus sur la boucle for entre les [], consultez environ List comprehensions.