Comment faire pour exécuter des URL multiples dans les demandes à partir d'un fichier

Question

J'essaie de scrapper plusieurs sites Web à partir d'URL dans un fichier txt. Il y a une URL par ligne.

mon code est:

Import requests 
from bs4 import BeautifulSoup 

file = open('url.txt', 'r') 
filelines = file.readline() 
urllist = requests.get(filelines) 
soup = BeautifulSoup(urllist.content, "html.parser") 
content = soup.find_all("span", {"class": "title-main-info"}) 
print content 

Mais il imprime seulement le dernier contenu url (dernière ligne). Qu'est-ce que je fais mal? Merci

Answer 1

Essayez ceci. Cela devrait fonctionner:

import requests 
from bs4 import BeautifulSoup 

with open('url.txt', 'r') as f: 
    for links in f.readlines(): 
     urllist= requests.get(links.strip()) 
     soup = BeautifulSoup(urllist.content, "html.parser") 
     content = soup.find_all("span", {"class": "title-main-info"}) 
     print content