Gestion de plusieurs araignées avec scrapy

Question

Je crée un agrégateur et j'ai commencé avec scrapy comme ensemble d'outils initial. D'abord je n'avais que quelques araignées, mais au fur et à mesure que le projet grandit, il me semble que je pourrais avoir des centaines ou même un millier d'araignées différentes alors que je gratte de plus en plus de sites. Quelle est la meilleure façon de gérer ces araignées, car certains sites ne doivent être explorés qu'une seule fois, d'autres sur une base plus régulière? Scrapy est toujours un bon outil lorsqu'il s'agit de nombreux sites ou recommandez-vous une autre technologie.

Answer 1

Vous pouvez consulter le projet scrapely, qui est des créateurs de scrapy. Mais, pour autant que je sache, il n'est pas adapté à l'analyse de sites contenant du javascript (plus précisément, si les données analysées ne sont pas générées par javascript).