Comment interdire un dossier dans le fichier robots.txt mais à l'exception de certains fichiers?

Question

J'ai une situation où je veux interdire l'exploration de certaines pages dans un répertoire. Ce répertoire contient un grand nombre de fichiers mais il y a quelques fichiers dont j'ai besoin pour être indexés. Je vais avoir un très gros fichier de robots si je dois passer par le refus de chaque page individuellement. Est-il possible d'interdire un dossier dans robots.txt à l'exception de certains fichiers?

Answer 1

Il existe une extension non-standard au format robots.txt pour spécifier les règles "Autoriser". Tous les robots ne les respectent pas, et certains robots les traitent différemment des autres.

Vous pouvez en lire davantage dans cet article Wikipedia: http://en.wikipedia.org/wiki/Robots_exclusion_standard#Allow_directive

Answer 2

Pour obtenir ce genre de contrôle à grain fin, vous pourriez être mieux à l'aide d'un robot de balise meta dans votre code HTML. C'est en supposant que les fichiers en question sont tous en HTML.

<meta name="robots" content="noindex" /> 

Ceci devrait être placé dans la tête de votre document. Je trouve ces balises plus faciles à entretenir que robots.txt.