Je sais que les agents utilisateurs sont un indicateur, mais c'est facile à usurper. Quels autres indicateurs fiables y a-t-il qu'un visiteur est vraiment un bot? En-têtes incohérents? Si les images/javascript sont demandées? Merci!Comment déterminer si un utilisateur accédant à votre site Web n'est pas un robot?
CVSTrac utilise une page honeypot pour ce faire. C'est une page liée quelque part sur le site où les robots l'atteignent, mais les humains l'ignorent généralement. CVSTrac va encore plus loin en permettant à l'utilisateur de prouver qu'il est humain.
"Si images/javascript sont demandés?" Je voudrais aller pour celui-ci, mais Google et d'autres demandent des images et des fichiers javascript de nos jours.
Que diriez-vous de demander la vitesse de temps? Les bots lisent votre contenu beaucoup plus rapidement que les humains.
N'est-ce pas ce que captcha est inventé?
Essayer d'éviter d'avoir des bots sur votre site n'est pas une raison de rendre la vie plus difficile pour les vrais utilisateurs ... captcha sont vraiment une douleur, même les fois ils ne sont pas utiles contre les robots. –
Il y a 4 choses que nous recherchons:
La chaîne de l'agent utilisateur. Il est très facile de truquer, mais les robots d'exploration utilisent souvent leur propre chaîne d'agent utilisateur unique.
La vitesse d'accès des pages, si elles accèdent plus d'un toutes les demi-seconde ou, qui est généralement une bonne indication
S'ils demandent simplement le code HTML, ou si elles demandent la page. Certains robots demandent seulement la structure HTML. C'est généralement un bon conseil.
L'URL entrant
pt. 2: Sachez qu'il est assez courant (pour moi, au moins) de suivre plusieurs liens d'une même page dans la même seconde (ouverture de nouveaux onglets, évidemment). – jensgram
@jensgram C'est pourquoi nous le faisons en quelques secondes et faisons l'intervalle une demi-seconde. Nous avons trouvé que c'était un indicateur presque parfait. J'ouvre également plusieurs liens à la fois à partir d'une page Web. – chollida
En outre, je désactive fréquemment le téléchargement d'images via un plug-in de développement Web, lorsque je rencontre des problèmes de connexion et que je ne suis intéressé que par la lecture de texte. – JYelton
Jetez un oeil à Bad Behavior, une bibliothèque qui emploie un large éventail de techniques de détection de bots
Un captcha inverse de toutes sortes peuvent aider aussi bien; vous pouvez créer un champ de saisie de texte avec affichage: none; dans son attribut style (ou votre feuille de style). Si c'est publié, il y a des chances que vous ayez affaire à un bot.
Editer: C'était en fait quelque chose qui avait été agrégé dans mon lecteur RSS, si je peux trouver la source, je lierai un bon exemple.
+1 - battu moi – DarkSquid