Comment les sites comme Hubspot suivent-ils les liens entrants?

Question

Est-ce que tous ces types de sites écorchent illégalement Google ou un autre moteur de recherche? Pour autant que je sache, il n'existe pas de moyen «légal» d'obtenir ces données pour un site commercial. api (http://developer.yahoo.com/search/siteexplorer/V1/inlinkData.html) est seulement pour une utilisation non commerciale, Yahoo! Le patron n'autorise pas les requêtes automatisées, etc.
Des idées?

Answer 1

Par exemple, si vous voulez trouver tous les liens vers la page d'accueil de Google, recherchez

link:http://www.google.com 

Donc, si vous voulez trouver tous les liens entrants, vous pouvez simplement parcourir l'arbre de votre site Web, et pour chaque élément trouvé, créez une URL. Puis interroger Google pour:

link:URL 

Et vous obtiendrez une collection de tous les liens que Google a d'autres sites Web dans votre site Web. Pour ce qui est de la légalité d'une telle récolte, je suis sûr qu'il n'est pas tout à fait légal d'en tirer profit, mais cela n'a jamais été arrêté auparavant?

(donc je ne viendrais pas se demander s'ils l'ont fait ou non. Il suffit de supposer qu'ils le font.)

Answer 2

Je ne sais pas ce que HubSpot faire, mais, si vous voulez savoir quels sites un lien vers votre site, et vous n'avez pas le matériel pour explorer le Web, une chose que vous pouvez faire est de surveiller le HTTP_REFERER des visiteurs de votre site. C'est, par exemple, comment Google Analytics (pour autant que je sache) peut vous dire d'où viennent vos visiteurs. Ce n'est pas fiable à 100% car tous les navigateurs ne le définissent pas, en particulier en "Mode de confidentialité", mais vous n'avez besoin que d'un visiteur par lien pour savoir qu'il existe! Ceci est souvent accompli en intégrant un script dans chacune de vos pages Web (souvent dans un en-tête ou un pied de page commun). Par exemple, si vous examinez la source de la page que vous êtes en train de lire, vous trouverez (au bas de la page) un script qui renvoie à Google les informations relatives à votre visite. Maintenant, cela ne vous dira pas s'il y a des liens que personne n'a jamais utilisé pour accéder à votre site, mais soyons réalistes, ils sont beaucoup moins intéressants que ceux que les gens utilisent.