Comment faire une boucle sur chaque page du site Web pour le scrappage Web avec BeautifulSoup

Question

Je récupère des données d'offres d'emploi à partir d'un site Web à l'aide de BeautifulSoup. J'ai un code de travail qui fait ce dont j'ai besoin, mais il ne fait que gratter la première page des offres d'emploi. J'ai du mal à comprendre comment mettre à jour l'URL de façon itérative pour gratter chaque page. Je suis nouveau à Python et ai regardé quelques solutions différentes aux questions semblables, mais n'ai pas compris comment les appliquer à mon URL particulier. Je pense que j'ai besoin de mettre à jour l'URL de manière itérative ou en quelque sorte, cliquez sur le bouton suivant, puis boucle mon code existant à travers chaque page. J'apprécie toutes les solutions.

url: https://jobs.utcaerospacesystems.com/search-jobs

Answer 1

D'abord, BeautifulSoup n'a rien à voir avec Geting pages web - vous obtenez la page Web vous-même, puis le nourrir à BS4 pour le traitement.

Le problème avec la page que vous avez liée, c'est que c'est javascript - il ne rend correctement dans un navigateur (ou toute autre machine virtuelle javascript).

@Fabricator est sur la bonne voie - vous aurez besoin de regarder la console développeur et de voir ce que les requêtes ajax que le js envoie au serveur. Dans ce cas, regardez également les paramètres de la chaîne de requête, qui incluent un paramètre appelé CurrentPage - c'est probablement celui sur lequel vous voulez vous concentrer.