IP Blacklisting Apache

Question

J'ai eu un balayage IP via mon site et mes journaux d'erreur apache leur ai montré et j'ai ouvert une question ici: Apache Error Log spammed with an error

Maintenant, après le blocage qui, une nouvelle adresse IP accède à mon site (pour même répertoires comme l'IP précédente l'a fait auparavant). Le répertoire n'existe pas et tout ce qui est généré est aléatoire.

PROBLÈME:

La nouvelle IP est accédant 66.249.74.73 et quand je vois les informations IP ici: http://www.infobyip.com/ip-66.249.74.73.html il montre qu'il est Google BOT. Maintenant je suis confus. Dois-je le bloquer ou pas? Et si je bloque ces adresses IP et qu'une nouvelle adresse IP fait la même chose, dois-je continuer à bloquer les adresses IP de ce type? N'y a-t-il pas de solution permanente?

J'utilise Apache dans Ubuntu 15.10

MISE À JOUR: Maintenant, il est avec succès en mesure d'aller dans mon site Web et ramper (je ne l'ai pas indexé mon site partout) construire tout simplement.

[Fri Nov 20 18:36:31.026761 2015] [core:info] [pid 19594] [client 66.249.74.73:57119] AH00128: File does not exist: /var/www/html/robots.txt 
[Fri Nov 20 18:36:31.446036 2015] [core:info] [pid 19595] [client 66.249.74.69:63983] AH00128: File does not exist: /var/www/html/company/v/19175398/\xce\xe4\xba\xba\xb5\xc2\xc0\xfb\xd4\xb4\xc3\xb3\xd2\xd7\xd3\xd0\xcf\xde\xb9\xab\xcb\xbe 
[Fri Nov 20 18:36:32.228918 2015] [core:info] [pid 19595] [client 66.249.74.69:63983] AH00128: File does not exist: /var/www/html/company/v/5146022/\xd5\xf2\xbd\xad\xca\xd0\xb5\xa4\xcd\xbd\xc7\xf8\xb9\xe2\xc3\xf7\xb8\xa8\xd6\xfa\xb2\xc4\xc1\xcf\xb3\xa7 

je l'ai déjà ouvert une question SO mais l'IP ne cesse de produire et je ne sais pas comment bloquer toutes les adresses IP générées. (L'ajout manuel de chacun à la liste noire est-il le seul moyen?)

Answer 1

Tous les robots d'exploration utilisent les fichiers /robots.txt. Créez ce fichier avec le contenu suivant:

User-agent: * 
Disallow:/

et aucun des robots n'analyse votre site davantage.

Vous pouvez en savoir plus sur robots.txt here.

Answer 2

Si le robots.txt ne vous pouvez travailler aussi essayer d'utiliser modrewrite dans un fichier .htaccess

RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR] 
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR] 
RewriteCond %{HTTP_USER_AGENT} msnbot [OR] 
RewriteCond %{HTTP_USER_AGENT} Slurp 
RewriteRule ^.*$ "http\:\/\/yourdomain\.com" [R=301,L]