Comment WordPress bloque-t-il les moteurs de recherche?

Question

Si vous allez à wordpress admin puis Paramètres-> vie privée, il y a deux options pour vous demander si vous souhaitez autoriser votre blog à rechercher si par les moteurs de seach et cette option:

I pour bloquer les moteurs de recherche, mais permettre aux visiteurs normaux

Comment bloquer effectivement les robots collecteurs wordpress de recherche/robots d'exploration de la recherche sur ce site lorsque le site est en direct?

Answer 1

Selon le codex, il est juste robots balises meta, robots.txt et suppression de pingbacks:

Causes <meta name='robots' content='noindex,nofollow' /> à générer dans la section (si wp_head est utilisé) de la source de votre site, ce qui provoque les robots des moteurs de recherche d'ignorer votre site.

Causes frappe à robots.txt pour renvoyer:

User-agent: *

Disallow: /

Note: ci-dessus ne fonctionne que si WordPress est installé dans la racine du site et ne robots.txt.

Ce sont des «lignes directrices» que tous les robots sympathiques suivront. Une araignée malveillante recherchant des adresses de courrier électronique ou des formulaires pour le spam dans ne sera pas affectée par ces paramètres.

Answer 2

Avec un robots.txt (si elle est installée en tant que root)

User-agent: * 
Disallow:/

ou (de here)

Je voudrais bloquer les moteurs de recherche, mais permettre aux visiteurs normaux - vérifier cela pour ces résultats:

• Causes "<meta name='robots' content='noindex,nofollow' />" à être généré dans la section (si la tête wp_head est utilisé) de la source de votre site , entraînant l' du moteur de recherche à ignorer votre site. * Causes coups à robots.txt pour renvoyer:

  User-agent: * 
      Disallow:/
  

  Note: ci-dessus ne fonctionne que si WordPress est installé dans la racine du site et ne robots.txt.

• Arrête les pings vers ping-o-matic et tous les autres services ping RPC spécifiés dans les Services d'administration de mise à jour > Paramètres> Écriture. Cela fonctionne en ayant la fonction privacy_ping_filter() supprimer les sites à ping de la liste. Ce filtre est ajouté en ayant add_filter ('option_ping_sites', 'privacy_ping_filter'); dans les filtres par défaut. Lorsque la fonction generic_ping tente d'obtenir l'option "ping_sites", ce filtre empêche de renvoyer quoi que ce soit.

• l'option Masque des services de mise à jour entièrement sur les Administration> Paramètres> écriture panneau avec le message « WordPress est n'avisait les services de mise à jour en raison de la vie privée les paramètres de votre blog. »

Answer 3

Je ne sais pas pour sûr, mais il génère probablement un fichier robots.txt qui spécifie les règles pour les moteurs de recherche.

Answer 4

Utilisation d'un fichier Robots Exclusion.

Exemple:

User-agent: Google-Bot 
Disallow: /private/ 

Answer 5

Vous ne pouvez pas empêcher les robots et les robots d'exploration de parcourir un site accessible au public. Si une personne avec un navigateur peut le voir, alors un bot ou un crawler peut le voir (mise en garde ci-dessous). Cependant, il y a quelque chose qui s'appelle le Robots Exclusion Standard (ou norme standard robots.txt), qui vous permet d'indiquer aux bots et aux robots d'exploration bien comportés qu'ils ne doivent pas indexer votre site. This site, ainsi que Wikipedia, fournissent plus d'informations. L'inconvénient de ce qui précède est que ce que vous voyez sur votre navigateur, un bot peut voir, est la suivante: la plupart des robots simples n'incluent pas de moteur Javascript, donc tout ce que le navigateur affiche à cause du code Javascript pas être vu par un bot. Je suggère que vous n'utilisiez pas cela comme un moyen d'éviter l'indexation, puisque la norme robots.txt ne repose pas sur la présence de Javascript pour assurer un rendu correct de votre page.

Une fois dernier commentaire: les robots sont libres d'ignorer cette norme. Ces robots sont mal comportés. L'essentiel est que tout ce qui peut lire votre HTML peut faire ce qu'il aime avec.