0
J'utilise Nutch et je voudrais indexer un intranet, mais comment s'assurer que tout sur l'intranet sera indexé?Index tout l'intranet avec nutch
Merci.
A
Répondre
0
Si vous connaissez toutes les URLs de l'intranet, alors écrivez un fichier robots.txt (ou une page équivalente avec toutes les URLs et pointez le robot). Si vous ne le faites pas, vous ne pouvez jamais être sûr que vous aurez exploré toutes les URL, car vous ne pouvez pas le vérifier après l'exploration.
Dans le dernier cas, la meilleure chance est de faire le crawl à la profondeur maximale.
Cordialement
Questions connexes
- 1. Nutch web araignée, index web entier
- 2. Apache Nutch avec Lucene
- 3. mise à jour index de solr par nutch
- 4. Solr index vide après la commande nutch solrindex
- 5. Utilisation du crawler Nutch avec Solr
- 6. Intégration ElasticSearch et Nutch
- 7. Nutch Multithreading
- 8. Scoring Nutch results
- 9. Comment recrawle nutch
- 10. Apache Nutch étapes d'explication
- 11. Apache Nutch introuvable
- 12. Message d'erreur nutch eclipse
- 13. Nutch regex pour crawl
- 14. nutch: recherche avec le mot clé
- 15. Exploration nutch sur hadoop
- 16. Drupal + Nutch + Solr
- 17. nutch 1.1 schema.xml
- 18. htaccess réécrire tout sauf index et racine
- 19. Nutch Raw Html Saving
- 20. Nutch Seed URLs
- 21. Nutch API advice
- 22. nutch Impossible d'analyser le contenu
- 23. Nutch 2.X - URL à récupérer
- 24. méthode d'appel Index() avec index() ou iNdEx()
- 25. nutch et sitemap.xml
- 26. Liferay + Solr + Nutch
- 27. Nutch. Implémentation .Net
- 28. nutch crawl path
- 29. Nutch Dans Eclipse
- 30. nutch crawler rampe 'comme'