Pourquoi Google (ou Googlebot) indexerait-il une page renvoyant une erreur 500?

Question

Googlebot indexe parfois l'un de nos sites avec un mauvais paramètre de chaîne de requête. Je ne suis pas sûr comment il obtient ce paramètre de chaîne de requête (il ne semble pas y avoir de sites liant à nous avec de mauvais liens, et rien dans notre site n'insère la mauvaise valeur). Le mauvais paramètre provoque le site à lancer une erreur 500, comme nous le prévoyons. J'ai eu l'impression que Google n'indexerait pas les pages qui retournent une erreur 500, mais il s'avère que c'est le cas. Donc maintenant j'ai deux questions:

1) Pourquoi Googlebot insère-t-il des valeurs aléatoires de chaîne de requête incorrecte? (Je ne me soucie pas vraiment de la réponse à cette question, mais si nous pouvions faire quelque chose pour éviter cela, cela résoudrait notre problème.)

2) Pourquoi Google indexerait-il une page qui renvoie une erreur 500?

Voici un des liens erronés que le Googlebot créé et que Google a indexé:

http://www.pbs.org/teacherline/catalog/browse/?sa=4&gb=baqhuxts&gb=20&gb=21&num=20&page=2&js=0&sa=1

Le paramètre est mauvais gb = baqhuxts. Le paramètre 'gb' devrait être un entier. Si vous supprimez ce paramètre de la chaîne de requête, vous devriez obtenir une belle page de catalogue.

En ce qui concerne les solutions nofollow et robots.txt: [EXPURGÉ]

Je me rends compte maintenant que je suis un crétin et mettre une balise meta robots dire de recherche d'indexer la page. C'était une chose stupide à faire. Je supprime ceux-ci. W- (

Si vous search on Google for 'baqhuxts' vous trouverez qu'il a indexé 10 pages avec ce mauvais paramètre, mais chacune de ces pages renvoie une erreur 500. Quelqu'un a-t-il un aperçu de la raison pour laquelle Google croit que ces pages sont valides?

Answer 1

Il est probablement parce que vous dites Google à indexer en ayant dans vos méta-tags:

<meta name="robots" content="index,follow"> 

Essayez de supprimer cela! :)

Answer 2

malheureusement, je ne connais que la réponse à # 1:.

google explorer des pages étranges comme ça parce que les gens avec barre d'outils Google vont vers des pages qui DonT existent, et leurs informations de navigation sont transmises à google est pourquoi vous souvent trouver des pages indexées qui n'ont aucune activité indexée, par exemple, les pages phpmyadmin auxquelles elles ne sont pas reliées.