Qu'est-ce que les robots des moteurs de recherche utilisent comme point de départ? Est-ce la recherche DNS ou commence-t-on par une liste fixe de sites connus? Des suppositions ou des suggestions?Où les moteurs de recherche commencent-ils à explorer?
Votre question peut être interprétée de deux façons:
demandez-vous où les moteurs de recherche commencent leur exploration de manière générale, ou où ils commencent à explorer un site en particulier?
Je ne sais pas comment fonctionnent les gros joueurs; mais si vous deviez créer votre propre moteur de recherche, vous le doteriez probablement de sites portails populaires. DMOZ.org semble être un point de départ populaire. Puisque les gros joueurs ont tellement plus de données que nous, ils commencent probablement leurs explorations à partir d'une variété d'endroits.
Si vous vous demandez où une SE commence à explorer votre site en particulier, il a probablement beaucoup à voir avec lequel de vos pages sont les plus populaires. J'imagine que si vous avez une page super populaire avec laquelle beaucoup d'autres sites pointent, alors ce serait la page à partir de laquelle les SE vont entrer, car il y a tellement plus de points d'entrée d'autres sites.
Notez que je ne suis pas en SEO ou quoi que ce soit; Je viens d'étudier le trafic bot et SE pendant un certain temps pour un projet sur lequel je travaillais.
Vous pouvez soumettre votre site aux moteurs de recherche en utilisant leur site submission forms - cela vous entrer dans leur système. Lorsque vous êtes réellement ramper après cela est impossible à dire - de l'expérience, il est généralement d'environ une semaine pour une exploration initiale (page d'accueil, quelques autres pages 1-lien profond à partir de là). sitemap - vous permet de lister toutes vos pages et de les peser les unes par rapport aux autres, ce qui aide les moteurs de recherche à comprendre l'importance que vous leur attribuez. chaque partie du site par rapport aux autres.
Si votre site est lié à partir d'autres sites explorés, alors votre site sera également analysé, en commençant par la page liée, et éventuellement se propager au reste de votre site. Cela peut prendre beaucoup de temps, et dépend de la fréquence d'exploration des sites de liaison, donc la soumission d'url est le moyen le plus rapide de faire savoir à google à votre sujet!
Un outil que je ne peux pas recommander est très assez la Google Webmaster Tool. Il vous permet de voir à quelle fréquence vous avez été exploré, toutes les erreurs que le googlebot a trébuché (liens brisés, etc.) et contient une foule d'autres outils utiles.
En principe, ils partent de rien. Ce n'est que lorsque quelqu'un leur dit explicitement d'inclure leur site Web qu'ils peuvent commencer à explorer ce site et utiliser les liens de ce site pour en rechercher d'autres.
Cependant, dans la pratique du créateur (s) d'un moteur de recherche mis sur certains sites arbitraires qu'ils peuvent penser. Par exemple, leurs propres blogs ou les sites qu'ils ont dans leurs favoris.
En théorie, on pourrait aussi simplement choisir certains au hasard et voir adresses s'il y a un site là-bas. Je doute que quelqu'un fasse cela cependant; la méthode ci-dessus fonctionnera très bien et ne nécessite pas de codage supplémentaire juste pour démarrer le moteur de recherche.
Cette question semble être hors sujet car il ne s'agit pas de programmation. Voir [Quels sujets puis-je poser à ce sujet?] (Http://stackoverflow.com/help/on-topic) dans le centre d'aide. Peut-être [Web Apps Stack Exchange] (http://webapps.stackexchange.com/) serait un meilleur endroit à demander. – jww