Crawl ensemble du contenu du site web

Question

je spécifier une source de contenu comme un site Web interne non sharepoint

par exemple Cependant, une exploration complète ne parcourt que 22 pages à la racine du site Web (il y en a 100), sauf si je spécifie 'Personnalisé - spécifiez la profondeur de la page et les sauts de serveur:' et laissez la 'Page Depth' et ' Limiter Server Hops 'comme Illimité

Qui rend alors le crawl aller mental!

Mise à jour: J'utilise MS Search Server 2008 Express

Answer 1

Vous pouvez spécifier exactement quel outil/la technologie que vous utilisez pour faire rampants. Aussi, avez-vous essayé autre chose que illimité, et quels sont les résultats?

Answer 2

Wget est assez intelligent. Voici une ligne de commande que j'utilise pour les sites d'instantanés récursifs.

wget -r -k -K --no-parent http://internal.example.com/

http://gnuwin32.sourceforge.net/packages/wget.htm