Comment utiliser scrapy-splash avec proxy tournant?

Question

je ne faisais que du succès avec le grattage contenu js en utilisant ce qui suit comme une demande

def start_requests(self): 
    for url in self.start_urls: 
     yield scrapy.Request(
      url, 
      self.parse, 
      meta={ 'splash': { 'endpoint': 'render.html', 'args': {'wait': 0.5} } } 
     ) 

Comment appliquer les excute et render.html points de terminaison dans le scrapy request d'utiliser un service de proxy en rotation tout en raclant le contenu dynamique?

Answer 1

Vous n'avez pas besoin d'utiliser à la fois les points de terminaison execute et render.html, execute est plus général. En ce qui concerne le proxy, le point de terminaison execute prend en charge le paramètre proxy (voir le documentation) qui est soit une URL de proxy, soit un nom Proxy Profile.