Téléchargement d'images en scrapy

Je suis en train de télécharger l'image via Scrapy. Voici mes différents fichiers:Téléchargement d'images en scrapy

items.py

class DmozItem(Item): 
     title = Field() 
     image_urls = Field() 
     images = Field()

settings.py

BOT_NAME = 'tutorial' 

SPIDER_MODULES = ['tutorial.spiders'] 
NEWSPIDER_MODULE = 'tutorial.spiders' 
ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline'] 
IMAGES= '/home/mayank/Desktop/sc/tutorial/tutorial'

araignée

class DmozSpider(BaseSpider): 
    name = "wikipedia" 
    allowed_domains = ["wikipedia.org"] 
    start_urls = [ 
     "http://en.wikipedia.org/wiki/Pune" 
    ] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     items = [] 
     images=hxs.select('//a[@class="image"]') 
     for image in images: 
       item = DmozItem() 
       link=image.select('@href').extract()[0] 
       link = 'http://en.wikipedia.com'+link 
       item['image_urls']=link 
       items.append(item)

Malgré tous ces paramètres que je mon pipeline ne reçoit pas activé.S'il vous plaît aider. Je suis nouveau dans ce cadre.

Source

2013-04-16 Mayank Jain

Avez-vous installé PIL (Python Imaging Library)? C'est un prérequis pour le téléchargement d'images: http://doc.scrapy.org/fr/latest/topics/images.html – Talvalin

Comment savez-vous que le pipeline n'est pas activé? Pouvez-vous inclure un peu de la sortie du journal, quelque chose comme: '2013-04-16 16: 40: 31-0500 [scrapy] DEBUG: Pipelines d'éléments activés: ImagesPipeline'. –

D'abord, settings.py: IMAGES -> IMAGES_STORE

En second lieu, spider: Vous devez retourner un item afin que ImagesPipeline pourrait télécharger ces images.

item = DmozItem() 
image_urls = hxs.select('//img/@src').extract() 
item['image_urls'] = ["http:" + x for x in image_urls] 
return item

Source

2013-04-17 12:23:46 imwilsonxu

Téléchargement d'images en scrapy

Répondre

Questions connexes