Comment puis-je exclure les robots d'indexation de certaines pages de mon site Web à l'aide de robots.txt?

Question

J'ai essayé sur ma racine robots.txt:

User-agent: * 
Allow:/
Disallow: /*&action=surprise 

Sitemap: https://example.com/sitemap.php 

Je voudrais exclure de ramper urls comme:

https://example.com/track&id=13&action=surprise&autoplay 

De access.log fichier je vois encore quelques bots frappant ces urls.

Est-ce que je fais quelque chose de mal ou est-ce juste que certains robots ne suivent pas mes paramètres robots.txt?

Answer 1

Je dois dire que tous les robots n'obéissent pas aux règles et suivent votre robtos.txt. vous avez besoin d'ajouter un peu de technologie anti-robot d'interdire l'accès ... tels que:

1. vérifier l'agent utilisateur
2. compter l'ip de boulons