Gratter plusieurs pages avec des boucles en Python

Question

J'ai réussi à gratter la première page du site, mais lorsque j'ai essayé de gratter des pages mutiples, cela a fonctionné mais le résultat est totalement faux.

code:

import requests 
from bs4 import BeautifulSoup 
from urllib.parse import urljoin 
for num in range(1,15): 
    res = requests.get('http://www.abcde.com/Part?Page={num}&s=9&type=%8172653').text 
    soup = BeautifulSoup(res,"lxml") 
    for item in soup.select(".article-title"): 
     print(urljoin('http://www.abcde.com',item['href'])) 

Il a seulement changé un numéro dans l'URL de chaque page, par exemple,

http://www.abcde.com/Part?Page=1&s=9&type=%8172653 
http://www.abcde.com/Part?Page=2&s=9&type=%8172653 

Je suis arrivé 14 au total des pages de ce sujet.

Mon code a fonctionné, mais il imprime à plusieurs reprises l'URL de la première page 14 fois. Le résultat que je m'attendais à imprimer toutes les différentes URL de différentes pages en utilisant des boucles.

Answer 1

Comme Jon Clements a, url format comme ci-dessous:

res = requests.get('http://www.abcde.com/Part?Page={}&s=9&type=%8172653'.format(num)).text 

Vous pouvez trouver plus sur les chaînes de format de python à pyformat.info.