Scapes multiples avec araignée Scrapy

Question

Je voulais gratter un website. L'extraction que je veux faire est la liste des documents, le nom de l'auteur et la date. J'ai regardé quelques vidéos d'araignées scrapy et capable de comprendre 3 commande de script de coquille qui donne les données requises du site Web. Les commandes sont

scrapy shell https://www.cato.org/research/34/commentary 

pour ce jour:

response.css('span.date-display-single::text').extract() 

pour auteur:

response.css('p.text-sans::text').extract() 

pour les liens de documents dans la page

response.css('p.text-large.experts-more-h > a::text').extract() 

Je suis en train de l'obtenir à travers Python mais en vain. Comme il y a plusieurs données.

Voici le code python:

import scrapy 
class CatoSpider(scrapy.Spider): 

    name = 'cato' 

    allowed_domains = ['cato.org'] 

    start_urls = ['https://www.cato.org/research/34/commentary'] 


def parse(self, response): 

    pass 

Answer 1

Cela devrait fonctionner. Tout ce que vous avez besoin est exécutée juste cette commande: scrapy runspider cato.py -o out.json Mais comme je le vois, il y a erreur avec des liens, ne vous prendra que le texte de liens, non href

import scrapy 

class CatoItem(scrapy.Item): 
    date = scrapy.Field() 
    author = scrapy.Field() 
    links = scrapy.Field() 


class CatoSpider(scrapy.Spider): 

    name = 'cato' 

    allowed_domains = ['cato.org'] 

    start_urls = ['https://www.cato.org/research/34/commentary'] 


    def parse(self, response): 
     date = response.css('span.date-display-single::text').extract() 
     author = response.css('p.text-sans::text').extract() 
     links = response.css('p.text-large.experts-more-h > a::text').extract() 
     for d, a, l in zip(date, author, links): 
      item = CatoItem() 
      item['date'] = d 
      item['author'] = a 
      item['links'] = l 
      yield item