Puis-je stocker une page avec le metatag NOINDEX?

Question

Je fais un webcreawler et maintenant je suis en train de suivre le robots.txt et les metatags NOINDEX et NOFOLLOW.

NOFOLLOW me dit de ne pas suivre les liens dans la page, mais et le NOINDEX?
Je comprends qu'il est de ne pas indexer la page sur les recherches, mais je ne le ferai aucune recherche, stocker la page dans la base de données.

Je manque de respect de la balise NOINDEX si je stocke dans la base de données ou cela ne vaut que pour les recherches?

Answer 1

Aucune raison particulière de ne pas stocker. Tant que vous ne l'indexez pas et que vous ne le retournez pas dans un résultat de recherche. Vous n'êtes pas manquer de respect au sens de NOINDEX à moins que vous le retourner en résultat de la recherche.