Il m'était arrivé dans le passé que l'un de nos spécialistes en informatique déplacera accidentellement le fichier robots.txt de la mise en scène. Bloquer Google et d'autres d'indexer le site de nos clients en production. Y a-t-il un bon moyen de gérer cette situation?Comment empêcher robots.txt passant de mise en scène env à la production?
Merci d'avance.
Demandez à vos gars pour changer les permissions de fichiers sur robots.txt pour « lecture seule » pour tous les utilisateurs, afin qu'il prenne les mesures supplémentaires de:
Créez un script de déploiement pour déplacer les divers artefacts (pages Web, images, fichiers de prise en charge, etc.) et demandez à l'informaticien de se déplacer en exécutant votre script. Assurez-vous de ne pas inclure robots.txt dans ce script.
Je mettrais du code sur le serveur de production qui contenait le fichier robots.txt de production dans un autre emplacement et le surveillerait sur celui qui est en cours d'utilisation.
Si elles sont différentes, alors je remplacerais immédiatement le modèle en cours d'utilisation par la version de production. Ensuite, il ne serait pas important si elle est écrasée, car la mauvaise version n'existera pas longtemps. Dans un environnement UNIX, je le ferais périodiquement avec cron.
En tant que SEO, je ressens votre douleur. Pardonnez-moi si je me trompe, mais je suppose que le problème est dû au fait qu'il existe un fichier robots.txt sur votre serveur de transfert, car vous devez bloquer l'ensemble de l'environnement intermédiaire des moteurs de recherche pour le trouver et l'explorer. .
Si tel est le cas, je suggère que votre environnement de transfert soit placé en interne là où ce n'est pas un problème. (Configuration de type Intranet ou réseau pour la mise en scène). Cela peut sauver beaucoup de problèmes de moteur de recherche avec ce contenu se faire crawlé dire, par exemple, ils ont supprimé ce fichier robots.txt de votre Staging par accident et obtenir un site en double crawlé et indexé.
Si ce n'est pas une option, recommandez que la mise en scène soit placée dans un dossier sur le serveur comme domain.com/staging/ et n'utilisez qu'un seul fichier robots.txt dans le dossier racine pour bloquer le dossier/staging/entièrement. De cette façon, vous n'avez pas besoin d'utiliser deux fichiers et vous pouvez dormir la nuit sachant qu'un autre fichier robots.txt ne remplacera pas le vôtre.
Si ce n'est pas une option, demandez-leur de l'ajouter à leur liste de contrôle pour ne pas déplacer ce fichier? Vous aurez juste à vérifier cela - Un peu moins de sommeil, mais un peu plus de précaution.
Pourquoi votre environnement de transfert ne se trouve-t-il pas derrière un pare-feu et n'est-il pas exposé publiquement?
Le problème n'est pas Robots.txt ... Le problème est votre infrastructure réseau.
Juste une supposition, mais peut-être sa façon la plus simple d'exposer leur travail à des clients externes? –