Autoriser Google à indexer SEULEMENT les pages que je recherche

Question

J'ai un grand site (plus de 40 000 pages) et je veux minimiser le nombre de pages que Google indexe, c'est-à-dire que je souhaite indexer seulement 500 pages.

Je peux seulement sembler trouver l'option de Noindex'ing pages et pour moi à Noindex 39.500 pages n'aurait pas de sens.

Un exemple de mon fichier Robots.txt.

User-agent: * 
Noindex: /category/long-site-url-1/ 
Noindex:/
Noindex: /site-url-2/ 
Noindex: /site-url-3/ 

Sitemap: https://sitedomain/sitemap.xml 

Answer 1

Noindex dans le fichier robots.txt est/était only an experimental feature (et jamais documenté/spécifié).

Vous devez ajouter le meta - élément robots en HTML ou envoyer l'en-tête HTTP dans X-Robots-Tag pour chaque page concernée:

<meta name="robots" content="noindex" /> 

X-Robots-Tag: noindex