robots.txt: bots Disallow pour accéder à une "profondeur url" donnée

Question

J'ai des liens avec cette structure:

• http://www.example.com/tags/bla
• http://www.example.com/tags/blubb
• http://www.example.com/tags/bla/blubb (pour tous les articles correspondant aux DEUX balises)

Je veux google & co pour spider tous les liens qui ont un tag dans l'URL, mais pas les URL qui ont deux ou plusieurs tags.

Actuellement, j'utilise le tag méta html "robots" -> "noindex, nofollow" pour résoudre le problème.

Existe-t-il une solution robots.txt (qui fonctionne au moins pour certains robots de recherche) ou dois-je continuer avec "noindex, nofollow" et vivre avec le trafic supplémentaire?

Answer 1

Je ne pense pas que vous pouvez le faire en utilisant robots.txt. The standard est assez étroit (pas de caractères génériques, doit être au niveau supérieur, etc.). Qu'en est-il de les interdire en fonction de l'agent utilisateur sur votre serveur?