comment arrêter les araignées/robots sur tcl webserver

Question

J'ai une application qui sera hébergée sur un serveur tclhttpd. Je voulais savoir s'il y avait un moyen de bloquer les robots d'exploration pour lire la structure du répertoire. PS: Je lis à propos de robots.txt. Mais le problème que j'ai trouvé avec cela était qu'il n'y avait aucun moyen d'empêcher un bot de lire plus même si je fournissais un fichier robots.txt. Toute aide est grandement appréciée. TIA

Answer 1

Il y a plusieurs façons de le faire, mais la plus simple est probablement de placer le serveur web Tcl derrière une instance de nginx. (Apache fonctionnerait bien aussi, mais je n'aime pas configurer Apache, il ne fonctionne pas comme je le pense.) Vous pouvez ensuite utiliser toutes les recettes habituelles pour traiter les araignées et les robots d'exploration qui sont documentés pour ce système. Vous pouvez également utiliser des configurations d'équilibrage de charge pour placer plusieurs serveurs derrière un seul port. Il y a beaucoup d'options, selon le travail que vous voulez faire et votre budget.

Cependant, aucune de ces solutions de programmation n'est vraiment autant que déploiement solutions. En tant que tels, ils sont mieux traités sur d'autres sites Stack Exchange (par exemple, Server Fault). La bonne partie est que les programmes Tcl ont tendance à fonctionner assez léger, donc mettre plusieurs instances sur un seul serveur est très pratique.