Comment interdire les pages de recherche de robots.txt

Question

Je dois interdire l'indexation des pages de recherche http://example.com/startup?page=2.

Je veux http://example.com/startup pour être indexé mais pas http://example.com/startup?page=2 et page3 et ainsi de suite.

En outre, le démarrage peut être aléatoire, par exemple, http://example.com/XXXXX?page

Answer 1

Quelque chose comme cela fonctionne, comme l'a confirmé par Google Webmaster Tools fonction "test robots.txt":

User-Agent: * 
Disallow: /startup?page= 

Rejeter La valeur de ce champ spécifie une URL partielle qui n'est pas être visité. Cela peut être un chemin complet, ou un chemin partiel; toute URL commençant avec cette valeur ne sera pas récupérée.

Cependant, si la première partie de l'URL changera, vous devez utiliser des caractères génériques:

User-Agent: * 
Disallow: /startup?page= 
Disallow: *page= 
Disallow: *?page= 

Answer 2

Vous pouvez mettre cela sur les pages que vous ne voulez pas indexer:

<META NAME="ROBOTS" CONTENT="NONE"> 

Ceci indique aux robots de ne pas indexer la page.

Sur une page de recherche, il peut être plus intéressant d'utiliser:

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"> 

Cela indique robots de ne pas indexer la page en cours, mais toujours suivre les liens sur cette page, leur permettant d'obtenir les pages trouvé dans la recherche.

Answer 3

1. Créez un fichier texte et nommez-le: robots.txt
2. Ajouter les agents utilisateurs et interdire les sections (voir exemple ci-dessous)
3. Placez le fichier à la racine de votre site

Exemple:

############################### 
#My robots.txt file 
# 
User-agent: * 
# 
#list directories robots are not allowed to index 
# 
Disallow: /testing/ 
Disallow: /staging/ 
Disallow: /admin/ 
Disallow: /assets/ 
Disallow: /images/ 
# 
# 
#list specific files robots are not allowed to index 
# 
Disallow: /startup?page=2 
Disallow: /startup?page=3 
Disallow: /startup?page=3 
# 
# 
#End of robots.txt file 
# 
############################### 

Voici un lien vers Google réelle robots.txt file

Vous pouvez obtenir de bonnes informations sur la rubrique d'aide de Google pour les webmasters sur blocking or removing pages using a robots.txt file