Rédaction d'un programme C# qui scanne le site de commerce électronique et des extraits photos produits + prix + description de leur

Question

Je développe un moteur de recherche de commerce électronique qui vous permet de rechercher des produits dans un grand nombre de sites de commerce électronique.

Comment aborder la question?

je besoin d'une application qui sera en mesure de scanner les sites Web, analyser leur code HTML et déterminer lequel des images du site sont des images de produits, qui sont des descriptions de produits, qui sont les prix des produits.

Serait heureux d'entendre une idée, un exemple.

Merci d'avance. Ma question n'est pas comment obtenir le HTML à partir des sites Web (ce qui s'appelle le scraping d'écran) mais plus sur comment analyser cette information et comprendre lequel du html contient les données réelles que je recherche, et qui n'est pas.

Answer 1

Vous pouvez trouver this thread utile dans votre quête. J'avais décrit les étapes de base là-bas. Voici le lien vers toutes les questions marquées "Screen-scraping" sur SO. En outre, beaucoup de matériel sur le web - Google.

Answer 2

La plupart des sites que vous seriez racler (plus correctement web-scraping) ont des API partenaires pour offres de type « revendeur ». Pour contourner cela avec le scrappage de l'écran, votre adresse IP sera rapidement bloquée par les serveurs de trafic, et potentiellement vous mettre dans une situation légale.

C'est au mieux éthique douteuse.