Comment puis-je commencer à ramper avec plusieurs URL du même format dans Scrapy

Question

araignée Mon Scrapy doit commencer par les URL au format suivant:

https://catalog.loc.gov/vwebv/search?searchArg={$variable}&searchCode=GKEY%5E*&searchType=1&limitTo=none&fromYear=&toYear=&limitTo=LOCA%3Dall&limitTo=PLAC%3Dall&limitTo=TYPE%3Dall&limitTo=LANG%3Dall&recCount=1000' 

où la variable $ est un paramètre qui peut être alimenté avec autant valeurs possibles (peut-être même 1000 valeurs possibles).

Comment l'implémenter?

Answer 1

Vous pouvez remplacer la méthode start_requests à quelque chose comme:

def start_requests(self): 
    base_url = 'https://catalog.loc.gov/vwebv/search?...' 
    variables = [...] 
    for variable in variables: 
     url = base_url.format(variable) 
     yield Request(url)