Middleware Scrapy pour remplacer une requête unique avec plusieurs demandes

Question

Je veux un middleware qui va prendre une seule demande et le transformer en un générateur de deux demandes différentes. Pour autant que je sache, la méthode middleware downloader process_request() ne peut renvoyer qu'une seule requête, pas un générateur d'entre eux. Existe-t-il un bon moyen de diviser une requête arbitraire en plusieurs requêtes?

Il semble que le middleware spider process_start_requests se produit réellement après les start_requests Les demandes sont envoyées via le téléchargeur. Par exemple, si je mets start_urls = ['https://localhost/'] et

def process_start_requests(self, start_requests, spider): 
    yield Request('https://stackoverflow.com') 

il échouera avec ConnectionRefusedError, après avoir essayé et échoué la demande localhost.

Answer 1

Je ne sais pas quelle serait la logique derrière la transformation d'une demande (avant d'être envoyé) en plusieurs demandes, mais vous pouvez toujours générer plusieurs demandes (ou même des articles) à partir d'un middleware, avec ceci:

def process_request(self, request, spider): 
    for a in range(10): 
     spider.crawler.engine.crawl(
      Request(url='myurl', callback=callback_method), 
      spider)