Scrapy SgmlLinkExtractor Ajouter une URL arbitraire

Question

Comment ajouter une URL à SgmlLinkExtractor? C'est, comment puis-je ajouter une URL arbitraire pour exécuter le rappel?

Pour élaborer, en utilisant dirbot comme exemple: https://github.com/scrapy/dirbot/blob/master/dirbot/spiders/googledir.py

parse_category les accès que tout ce qui correspond à la SgmlLinkExtractor SgmlLinkExtractor (allow = 'directory.google.com/[AZ] [a-zA-Z_ /] + $)

Answer 1

utilisation BaseSpider au lieu de CrawlSpider, puis mis en ajouter à start_requests ou start_urls []

class MySpider(BaseSpider): 
    name = "myspider" 

    def start_requests(self): 
     return [Request("https://www.example.com", 
      callback=self.parse)] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     ... 

Answer 2

ThemenHubSpider classe (CrawlSpider):

name = 'themenHub' 
allowed_domains = ['themen.t-online.de'] 
start_urls = ["http://themen.t-online.de/themen-a-z/a"] 
rules = [Rule(SgmlLinkExtractor(allow=['id_\d+']), 'parse_news')]