Pourquoi et comment googlebot utilise-t-il le moteur de recherche de mon site?

Question

En parcourant de temps en temps mes recherches, je remarque que de loin le plus gros utilisateur de mon moteur de recherche est le google-bot. Ce qui donne? Est-ce qu'il recherche du contenu qui pourrait ne pas être directement accessible via la navigation? Si oui, comment sait-il quels mots et expressions rechercher (ils sont étonnamment pertinents). Vérifie-t-il les mots-clés les plus populaires sur le site? Je sais que je réponds à ma propre question ici, mais cela ne fonctionne vraiment que par rapport aux principes premiers. J'aimerais entendre quelqu'un qui sait de quoi ils parlent (c'est-à-dire pas moi).

Answer 1

Google utilisera des mots qui se produisent sur votre site dans des boîtes de recherche pour essayer de trouver des pages qu'il ne peut pas autrement.

Google dit que depuis quelques mois, il a été remplir des formulaires sur un « petit nombre » de sites web « de haute qualité » pour récupérer informations. Quels mots a-t-il entré dans ces formes? Mots automatiquement sélectionnés sur le site, avec des cases à cocher et des menus déroulants également en cours de sélection. http://searchengineland.com/google-now-fills-out-forms-crawls-results-13760

Answer 2

Si la méthode de votre formulaire de recherche est get au lieu de post, chaque recherche a sa propre URL, et les utilisateurs peuvent publier ces URL ailleurs. Ou si vous avez une page webstats (éventuellement par inadvertance) accessible au public qui répertorie ces URLs, c'est une autre façon commune pour les moteurs de recherche de tomber sur vos URLs de recherche interne. Une troisième façon que j'ai vu est les sites qui répertorient les recherches récentes sur leurs pages, mais c'est plus intentionnel. "MySQL Performance Blog" fait cela de manière gênante, donc toute recherche de leur site à partir de google génère des centaines de pages de recherches similaires, même si aucun d'eux n'a trouvé ce qu'ils cherchaient.

Edit: On dirait qu'il fait à l'occasion, mais seulement des formes GET: http://googlewebmastercentral.blogspot.com/2008/04/crawling-through-html-forms.html