Les demandes disparaissent après la mise en file d'attente de scrapy

Question

Scrapy semble se terminer sans traiter toutes les demandes. Je le sais parce que je me connecte avant et après la mise en file d'attente de la demande et je peux clairement le voir.

Je me connecte à la fois aux méthodes d'analyse et de rappel d'erreur et aucune d'entre elles n'a été appelée pour ces demandes manquantes.

Comment puis-je déboguer ce qui est arrivé à ces demandes?

Answer 1

Vous devez ajouter dont_filter=True lors de la mise en file d'attente de la demande. Bien que la requête ne corresponde peut-être pas à une autre requête, Scrapy se souvient des requêtes déjà effectuées et supprimera si vous la réessayez. Il supposera que c'était par erreur.