Comment passer des paramètres à scrapy crawler de scrapyd?

Question

je peux courir une araignée dans scrapy avec une simple commande

scrapy crawl custom_spider -a input_val=5 -a input_val2=6

où input_val et input_val2 sont les valeurs que je suis de passage à l'araignée

et la méthode ci-dessus fonctionne très bien ..

Cependant, alors que la planification d'une araignée avec scrapyd

course

curl http://localhost:6800/schedule.json -d project=crawler -d input_val=5 -d input_val2=6 -d spider=custom_spider 

génère une erreur

spider = cls(*args, **kwargs) 
    exceptions.TypeError: __init__() got an unexpected keyword argument '_job' 

Comment puis-je obtenir que cela fonctionne?

Modifier Ce: est dans mon initialiseur:

def __init__(self,input_val=None, input_val2=None, *args, **kwargs): 
     self.input_val = input_val 
     self.input_val2 = input_val2 
     super(CustomSpider, self).__init__(*args, **kwargs) 

Answer 1

Assurez-vous d'appuyer les arguments de mots clés arbitraires dans votre araignée et appeler __init__ avec super()like shown in the docs for spider arguments:

class MySpider(scrapy.Spider): 
    name = 'myspider' 

    def __init__(self, category=None, *args, **kwargs): 
     super(MySpider, self).__init__(*args, **kwargs) # <- important 
     self.category = category 

Scrapyd fournit le travail ID en tant qu'argument _job passé à l'araignée (voir code here).