Existe-t-il une bibliothèque de robots d'indexation disponible pour PHP ou Ruby? une librairie qui peut le faire d'abord en profondeur ou en largeur ... et gérer les liens même quand href = "../ relative_path.html" et l'URL de base est utilisée.Existe-t-il une bibliothèque de robots Web pour PHP ou Ruby?
Vérifiez cette page pour une bibliothèque Ruby: Ruby Mechanize
Je voudrais mentionner que vous seriez encore responsable de la façon dont votre robot traverse des sites.
vous pouvez aller pour Webrat ou watir en rubis, beaucoup plus facile que mécaniser
Si vous souhaitez apprendre crawler web de base & choses de recherche, vous pouvez commencer à regarder « moteur luna ".
Si vous avez besoin de gratter les pages Web qui utilisent javascript, vous pouvez utiliser Capybara avec un pilote qui va faire tourner un vrai navigateur, comme poltergeist. Il est généralement utilisé avec un cadre de test pour les tests d'acceptation, mais peut également être utilisé en dehors d'un cadre de test.