robots.txt ignrore tous les dossiers, mais analyser tous les fichiers dans la racine

Question

dois-je faire alors

User-agent: *

Disallow:/

est-il aussi simple que cela? ou est-ce que cela ne va pas non plus ramper les fichiers dans la racine?

essentiellement c'est ce que je suis après - rampants tous les fichiers/pages dans la racine, mais aucun des dossiers du tout ou je vais devoir spécifier chaque dossier explicitement .. à savoir

disallow :/admin

disallow:/cette

.. etc

grâce

nat

Answer 1

Votre exemple va bloquer tous les fichiers en racine.

Il n'y a pas de moyen "standard" de faire facilement ce que vous voulez sans spécifier explicitement chaque dossier.

Certains crawlers do support extensions qui vous permettra de faire correspondre les modèles. Vous pouvez interdire tous les robots qui ne supportent pas la correspondance de motifs, mais autoriser ceux qui le font.

Par exemple

# disallow all robots 
User-agent: * 
Disallow:/

# let google read html and files 
User-agent: Googlebot 
Allow: /*.html 
Allow: /*.pdf 
Disallow:/