Web Crawling et évaluation de lien

Question

Je sais que cURL téléchargera un fichier complet. Ce que je veux vraiment, c'est prendre tous les liens sur une page et évaluer par rapport à mes critères spécifiques, l'emplacement du lien, etc et décider si je devrais saisir cette page et l'analyser pour l'information. Plus précisément, je veux trouver des liens qui se rapportent à des événements de divertissement et analyser les données et les stocker dans ma base de données MySQL pour remplir un site Web pour les événements dans ma région.

Quelqu'un aurait-il des idées sur la façon d'accomplir?

-Jason

Answer 1

Je vous suggère de baser vos efforts sur une solution web crawler existante/indexeur, plutôt que de mettre en œuvre vous-même dans le code ou avec des outils tels que CURL.

Voir par exemple Lucene.

Answer 2

Si tout ce que vous voulez est une énumération de liens sur une page, vous pouvez utiliser le .NET WebBrowser et le DOM pour le faire. Creuser mon code pour ça ... Je reviendrai vers vous.

Answer 3

Vous n'avez pas spécifié de langage de programmation. Apache Droids peut être la chose pour vous, si vous êtes prêt à le personnaliser en utilisant Java. Il est prévu comme un robot d'exploration minimal que vous pouvez personnaliser pour vos besoins spécifiques.

Answer 4

Ces solutions dans les autres réponses semble intéressante, mais je viens de faire quelque chose de similaire et simple avec C#/Mono et HTML Agility Pack.

Answer 5

Comme mentionné ci-dessus, vous n'avez pas mentionné de langue. Si vous utilisez Ruby, la gemme cobweb pourrait être utilisée pour cela. Vous lui indiqueriez manuellement de ne pas trouver de liens (il explorerait automatiquement tous les liens par défaut) et le faire vous-même sur chaque page comme vous l'aviez dit pour les évaluer, ils pourraient ensuite être mis manuellement dans la file d'attente si vous le souhaitez. être rampé.

Il semble que Ruby on Rails soit supporté par un hébergement partagé par godaddy si c'est ce que vous voulez.

(juste vu c'était il y a 3 ans, pourrait aider quelqu'un d'autre si!)