Je souhaite empêcher les utilisateurs d'accéder à mon fichier robots.txt, mais je souhaite que les moteurs de recherche le lisent. C'est possible? Si oui, comment puis-je le faire? Je crois que si j'écris après .htaccess cela fonctionnera mais j'ai peur que cela empêche également les moteurs de recherche d'y accéder.Empêcher l'accès direct à robots.txt via .htaccess
pour deny, allow nier de tous
Merci
Depuis la norme robots.txt est servi à partir de la racine de votre domaine, sauf si vous pouvez en quelque sorte distinguer de manière fiable les moteurs de recherche des utilisateurs, je ne suis pas pense que ce que tu demandes est possible.
Vous pouvez essayer de filtrer par agent utilisateur ou éventuellement par plage IP.
Y a-t-il une raison pour laquelle vous ne voulez pas que vos utilisateurs ne voient pas ce qui se trouve dans votre fichier robots.txt? Après tout tout ce qui est dans ce fichier est public.
Ouais j'ai aussi compris que ce n'est pas possible sinon Google, CNN, BBC et d'autres auraient également empêché leur robots.txt (google.com/robots.txt, bbc.com/robots.txt). Je viens d'obtenir une requête de quelqu'un, alors j'ai pensé demander demander et confirmer. – Ali
Vous pouvez utiliser des balises x-robots-tag ou robots au lieu de robots.txt pour réduire votre dépendance sur le fichier. Par exemple, ajoutez la directive suivante à votre fichier .htaccess.
<Files ~ "\pdf$">
#don't index pdf files
Header set X-Robots-Tag "noindex, nofollow"
</Files>
Il y a une réponse que vous pouvez adapter à votre cas sur "robots.txt": http://stackoverflow.com/questions/7475870/robots-txt-htaccess-block-google ? rq = 1 – Katapofatico