Comment puis-je bloquer l'accès de mes rails contre les bots?

Question

Je ne suis même pas sûr d'utiliser la bonne terminologie, que ce soit des bots ou non. Je ne voulais pas utiliser le mot "spam" car ce n'est pas comme si j'avais des commentaires ou des messages qui étaient créés/spammés. Il ressemble plus à quelque chose qui fait la même demande répétée à mon domaine, ce qui m'a fait penser que c'était une sorte de bot.

J'ai ouvert ma première application de rails au public, qui est vraiment un petit groupe d'utilisateurs, < 50 actuellement. C'était vendredi dernier. J'ai commencé à avoir des problèmes de performance aujourd'hui, je regardais le journal et je vois des tonnes de ces RoutingErrors

ActionController::RoutingError (No route matches "/portalApp/APF/pages/business/util/whichServer.jsp" with {:method=>:get}): 

Ils remplissent le journal et je suppose que cela cause du ralentissement. Notez le .jsp à la fin et c'est une application rails, donc je n'ai pas d'URL à distance comme ça dans mon application. Je veux dire, le/portalApp je n'ai même pas, donc je ne sais pas d'où cela vient.

Ceci est hébergé chez Dreamhost et j'ai discuté avec une de leurs personnes de soutien, et il a suggéré quelques sites qui détaillent l'utilisation de htaccess pour bloquer les choses. Mais il semble que vous ayez besoin de connaître l'adresse IP ou le domaine dont proviennent les demandes, ce que je ne fais pas.

Comment puis-je bloquer ceci? Comment puis-je trouver l'adresse IP ou le domaine de la demande? D'autres suggestions?

---

Suivi info:

Après avoir regardé les journaux d'accès, il semble que ce n'est pas un bot. Peut-être que je ne lis pas les journaux correctement, mais il y a des demandes d'URL valides (générées à partir de mon application Flex) provenant de la même adresse IP. Alors maintenant, je me demande si c'est une sorte de plugin générant les demandes, mais je ne sais vraiment pas. Maintenant, je me demande s'il est possible de bloquer une certaine demande d'URL, basée sur un modèle, mais je suppose que c'est une question distincte.

Answer 1

Ces page semble offrir quelques bons conseils: Here

La section sur blocage par l'agent utilisateur peut-être quelque chose que vous pouvez regarder la mise en œuvre. Y at-il de toute façon vous pouvez obtenir l'agent du bot à partir de vos logs? Si donc chercher l'aspect unique du useragent qui identifie probablement le bot et ajouter ce qui suit à .htaccess remplacer les bits correspondants

BrowserMatchNoCase SpammerRobot bad_bot 
Order Deny,Allow 
Deny from env=bad_bot 

Son détail sur ce lien plus en détail et bien sûr, si vous ne pouvez pas récupérez l'useragent de vos logs, cela ne vous servira à rien!

Answer 2

Vous pouvez également mettre à jour votre fichier public/robots.txt pour autoriser/interdire les robots.

http://www.robotstxt.org/wc/robots.html

Answer 3

question ancienne, mais pour les gens qui cherchent toujours des alternatives, je suggérerais vérifier Kickstarter de rack-attack gem. Permet non seulement la mise en liste noire et la liste blanche, mais aussi la limitation.