301 redirections vers tous sauf robots.txt

Question

Nous avons déplacé notre site vers un nouveau domaine et voulons que toutes les pages de l'ancien site soient supprimées des moteurs de recherche. C'est le même site, le même contenu, juste un nouveau domaine, donc les moteurs de recherche prennent du temps à cause du contenu en double (peut-être). Nous avons ajouté .htaccess 301 de notre ancien site sur le nouveau site comme:

redirect 301/http://new-domain.com/ 

Maintenant, pour enlever notre ancien site des moteurs de recherche, nous avons changé notre robots.txt sur l'ancien site comme:

User-agent: * 
Disallow:/

Le problème est que les moteurs de recherche récupèrent le fichier robots.txt du site new-domain.com à cause de la redirection .htaccess 301. Comment limiter la redirection 301 pour robots.txt?

Answer 1

Retirez la directive Redirect et essayer cette règle mod_rewrite:

RewriteEngine on 
RewriteRule !^robots\.txt$ http://other.example.com%{REQUEST_URI} [L,R=301] 

Cette redirigera toute demande, sauf /robots.txt.

Answer 2

J'essayais différentes configurations et j'ai passé des heures et finalement j'ai trouvé ce code qui fonctionne bien et j'espère obtenir les résultats désirés Voici le code pour interdire les moteurs de recherche.

User-agent: * 
Disallow:/