Gratter/extraire les données de div cachés dans scrapy

Question

Salut J'essaie de gratter un site Web où il y a un texte d'entrée. Chaque fois que je clique sur le texte d'entrée, il y a des suggestions déroulantes pour la valeur du texte d'entrée. Ce n'est pas sur une étiquette de sélection.

La valeur de ces suggestions est à l'intérieur d'un élément div. Il y avait près de 200 divs/suggestions de celui-ci. Ce que j'ai fait, c'est gratter à partir de celui-ci en utilisant scrapy en utilisant xpath/css sélecteurs. J'ai découvert que ces 200 divs sont cachés quand je regarde le code en utilisant "Afficher la source de la page" au lieu de "Inspecter les éléments".

Aidez-nous s'il vous plaît. Merci

Answer 1

Ces éléments sont générés à la volée par une bibliothèque déroulante, vous devez donc examiner le code source du site Web et/ou les requêtes HTTP qu'il effectue. Toutes les données que vous recherchez devraient être là (probablement au format JSON), pas dans le HTML lui-même.

Par exemple, si vous utilisez Chrome:

1. Appuyez sur F12 pour ouvrir devtools pendant que vous êtes sur le site
2. Appuyez sur F5 pour recharger la page
3. Accédez à Network ou Source onglet
4. Essayez de localiser les données (CTRL+F serait vraiment utile ici)