2017-08-25 4 views
0

Problème lors de la demande d'URL. Lors de l'inspection dans la page principale je reçois URL href comme enter image description herescrapy: différentes URL

Mais quand le lien se ouvert, il semble être: enter image description here

Les deux liens sont différents, comment puis-je faire une demande à cet effet.

Voici ce que dit ma coquille: enter image description here

+0

peut-être les données de chargement d'un site Web avec des appels AJAX/JS, et vous devez savoir que les données chargées après les appels AJAX/JS ne sont pas inclus dans la réponse initiale. – Umair

Répondre

3

Le problème est avec allowed_domains attribut d'araignée. Votre paramètre actuel ne vous permet pas de suivre les demandes à jobview.monster.ca selon le journal (DEBUG: Filtered offsite request to ...). Set qui attribuent un peu lâche:

allowed_domains = ['monster.ca'] 
+0

Super, même si ça ne fonctionnait pas avec 'monster.ca' aussi parce que la nouvelle page a commencé avec 'jobview.montser.ca', donc j'ai supprimé les domaines autorisés. Et ça a marché. Merci encore –