Est-ce que quelqu'un sait qu'il est possible de configurer n'importe quelle propriété afin d'informer googlebot de simplement venir explorer le site pendant une période donnée (par exemple pendant le week-end uniquement)?Google Crawler Time Restriction
grâce,
ne pense pas, mais Googlebot ne re-lire votre fichier robots.txt assez souvent, alors je me demande si cela fonctionnerait si vous permuté dans un autre robots.txt à ces moments, par exemple avec un script?
Vous pouvez indiquer à googlebots que vous préférez un taux d'exploration plus lent (si votre site est analysé au débit le plus rapide), mais cela prend effet pendant 90 jours (voir http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=48620).
La modification du fichier robots.txt peut poser problème car Google le cache. Par conséquent, interdire l'exploration risque d'empêcher l'exploration du site plus longtemps que prévu.
Google a plusieurs types de bot. Vous pouvez donc sélectionner les parties du site qui conviennent à chacune d'entre elles, en utilisant le fichier robots.txt comme prévu. Voir http://www.google.com/support/webmasters/bin/answer.py?answer=40360.
Vous pouvez utiliser un code XML sitemap pour donner un indice sur la fréquence d'exploration appropriée, mais ce n'est qu'un indice et la demande de jours spécifiques n'est pas possible.
L'alternative permutée ici, vous vous référez à allumer et éteindre googlebot dépend du jour? – pang
Ouais - disons, vous avez un script qui fonctionne le vendredi soir qui passe à un fichier robots.txt qui dit "ok, scan me", puis dimanche soir un autre script l'échange contre un fichier robots.txt restrictif qui dit "s'en aller" . Ce n'est peut-être pas parfait, c'est-à-dire qu'il pourrait s'écouler un certain temps avant que googlebot ne prenne le changement, mais ce ne serait pas trop long que je m'attendrais. –
Je serais très prudent à ce sujet - le bot pourrait interpréter un "Disallow" comme un ordre de supprimer complètement le site de l'index. –