Aide pour le robot d'indexation Web requise

Question

salut Je termine un petit projet de passe-temps pour créer un moteur de recherche à petite échelle. Je me demandais si quelqu'un sait d'un crawler web robuste opensource robuste qu'ils ont utilisé? il devrait être facile pour un noob de configurer et d'utiliser.

merci de ne pas googler les robots d'indexation et de coller une liste.

Answer 1

crawler4j est un crawler assez décent, multithread et facile à configurer et utiliser. C'est écrit en Java.

Vous pouvez trouver une liste de crawlers open-source dans ce wikipedia page.

Answer 2

Je pense que vous devriez lire une expérience similaire.

http://infolab.stanford.edu/~backrub/google.html