Quelle serait la syntaxe pour bloquer tout accès aux bots vers les pages https: //? J'ai un ancien site qui n'a pas de SSL et je veux bloquer l'accès à tous les https: // pagesRobots.txt bloque l'accès à toutes les pages https: //
Je ne sais pas si cela fonctionne, si les robots utilisent/demandent différents robots.txt pour différents protocoles . Mais vous pouvez fournir un robots.txt différent pour les demandes via HTTPS.
Donc quand http://example.com/robots.txt est demandé, vous fournissez le robots.txt normal. Et quand https://example.com/robots.txt est demandé, vous fournissez le robots.txt qui interdit tout.
Une idée de comment je peux facilement faire ça ?? J'utilise la réécriture ISAPI ?? Puis-je l'utiliser pour servir différents robots.txt ?? – leen3o
Je ne connais pas très bien la syntaxe de réécriture ISAPI. Mais essayez quelque chose comme ceci: RewriteCond% SERVER_PORT^433 $ RewriteRule ^/robots \ .txt $ /robots.txt.https [L] – Gumbo