Utiliser plusieurs araignées dans le projet dans Scrapy

Question

Je veux savoir s'il est possible d'utiliser plusieurs araignées dans le même projet ensemble. En fait j'ai besoin de 2 araignées. Le premier rassemble les liens sur lesquels la deuxième araignée doit gratter. Ils travaillent tous les deux sur le même site, donc le domaine est similaire.Est-ce possible? Si oui pouvez-vous me donner un exemple? Merci

Answer 1

c'est peut-être ce que vous cherchez:

def parse(self, response): 
    # parse the links (aka your first spider) 
    for link in hxs('//XPATH'): 
     yield Request(link.extract(), callback=self.parse_link) 

def parse_link(self, response): 
    # continue parsing (aka your second spider) 

Hope this vous aider :)