Utilisation de Scrapy pour analyser les sitemaps

Question

Je souhaite pouvoir utiliser des liens scrapy à explorer sur un sitemap. Je ne connais pas grand-chose à cette application, donc je serais intéressé par les liens/info/documentation que vous pourriez fournir.

Merci

Answer 1

Une nouvelle araignée générique vient d'être ajouté au tronc Scrapy, à cet effet. Il sera disponible sur le prochaine version (Scrapy 0,14)

• code ici: http://snippets.scrapy.org/snippets/20/
• Documentation ici: http://readthedocs.org/docs/scrapy/en/latest/topics/spiders.html#sitemapspider

Answer 2

Toute la documentation est à http://doc.scrapy.org/. Les tutoriels peuvent être trouvés sur scrapy.org aussi.

Quant à votre question, consultez cette question SO: how to parse a sitemap.xml file using scrapy's XmlFeedSpider?