Meilleures pratiques de robots.txt pour cacher le dossier secret

Question

J'ai un dossier secret dans mon site Web et je ne veux pas que les moteurs de recherche sachent à ce sujet. Je n'ai pas mis le nom du dossier dans la règle Disallow de robots.txt car écrire ce nom de dossier dans robots.txt signifie dire à mes visiteurs à propos de ce dossier secret.

Ma question est, les moteurs de recherche seront-ils en mesure de connaître ce dossier/de l'explorer même si je n'ai aucun lien publié dans ce dossier?

Answer 1

La seule manière vraiment fiable de cacher un répertoire à tout le monde est de le mettre derrière un mot de passe. Si vous ne pouvez absolument pas le mettre derrière un mot de passe, une solution sparadrap est de nommer le dossier quelque chose comme:

http://example.com/secret-aic7bsufbi2jbqnduq2g7yf/ 

puis bloquer seulement la première partie du nom, comme celui-ci:

Disallow: /secret- 

Cela bloquera efficacement le répertoire sans révéler son nom complet. Cela empêchera tout robot qui obéit à robots.txt d'explorer le répertoire, mais il ne rendra pas le répertoire facile à trouver pour les robots d'exploration hostiles. Juste ne confondez pas ceci pour la sécurité réelle. Cela permettra de garder les principaux moteurs de recherche. Il n'y a aucune garantie au-delà de cela. Encore une fois, la seule façon vraiment fiable de garder tout le monde hors d'un répertoire secret est de mettre le répertoire derrière un mot de passe.

Answer 2

Oui, ils peuvent l'explorer.

Votre dossier n'est pas "secret" du tout. Faites une recherche rapide pour une ligne de commande curl pour télécharger l'ensemble du site puis essayez-le sur votre site pour vous convaincre que votre approche de sécurité n'est pas valide.

Voici un bon exemple: download allfolders subfolders and files using wget

Vous pouvez vous .htaccess pour empêcher les agents d'être en mesure de demander la liste des répertoires, et cela va probablement vous protéger assez bien si vous ne donnez pas votre dossier un nom évident comme "site", mais je le testerais. voir deny direct access to a folder and file by htaccess