extraction de données à partir du web

Question

Je prévois de faire une extraction de données à partir de sources web (scrapping) dans le cadre de mon travail. Je voudrais extraire des informations autour du rayon de 10 km de ma société.

Je voudrais extraire des informations telles que les condominiums, son adresse, le nombre d'unités et son prix par sqft. D'autres choses comme le nombre d'écoles et de jardins d'enfants dans la région et les hôtels.

Je comprends que j'ai besoin d'extraire de quelques sources/pages Web. J'utiliserai aussi Python.

Je voudrais savoir quelle bibliothèque ou bibliothèques devrais-je utiliser. Le web est-il en train de mettre au rebut les seuls moyens? Pouvons-nous extraire des informations de Google Maps?

Aussi, si quelqu'un a une expérience, j'apprécierai vraiment si vous pouvez me guider à ce sujet.

Merci beaucoup, les gars.

Answer 1

Pour Google Maps, essayez l'API. L'utilisation d'outils de récupération Web pour l'extraction de données Google Maps est fortement déconseillée par Google TOS.

Si vous utilisez Python, il a de très jolies bibliothèques BeautifulSoup et Scrapy à cette fin.

D'autres moyens? Vous pouvez extraire des POI à partir des données OSM, essayez les outils open source. Informations sur la propriété Peut-être qu'il est disponible pour votre comté/état de Govt Office, essayez-le.