Je ne suis pas si nouveau dans les langages de programmation (python) mais je n'ai aucune idée de l'endroit où commencerai-je à faire un bot ou un scraper en utilisant python ?. devrais-je étudier dans la programmation cgi? ou le scraper fonctionne-t-il simplement en utilisant un script python? Dois-je créer un serveur pour cela? Je n'ai aucune idée de cela ... merci pour l'aideOù commencerai-je à faire un grattoir ou un bot en utilisant python?
Voici quelques liens pour vous aider à démarrer.
screen scraping implique beaucoup d'expressions régulières pour obtenir les données exactes que vous voulez. Vous voulez également savoir quel type de données vous souhaitez analyser et comment vous souhaitez les stocker.
Pour obtenir les pages, vous aurez besoin d'utiliser des bibliothèques telles que urllib (ou urllib2) et des expressions régulières (re) ou un bon script pour utiliser est beautifulsoup pour faire votre sale boulot (http://www.crummy.com/software/BeautifulSoup/)
Si vous voulez construire un bot pur qui fait ce que font les moteurs de recherche, vous devez également construire un bot assez intelligent pour savoir que vous ne continuez pas à envoyer un ping au même domaine en continu (entraîne une attaque DOS).
Si vous tentez d'accéder à des sites Web qui utilisent abondamment JavaScript, vous pourriez, dans l'ensemble, trouver Selenium plus facile. Selenium est un serveur qui contrôle les navigateurs Web actuels sur votre serveur, et une bibliothèque cliente (y compris un port Python) qui vous permet de contrôler les navigateurs et d'inspecter les pages qui s'y trouvent. Il est nettement plus rapide de configurer (et de comprendre) la bibliothèque du serveur et du client (et de s'assurer que vous avez un navigateur fonctionnel sur votre système), mais si le site Web fait beaucoup de choses en JavaScript, votre code de grattage réel pourrait être beaucoup moins poilu.
Vote pour fermer aussi large. –
Eh bien, je suppose que oui, seulement parce que l'OP n'a jamais accepté de réponse et qu'il n'a pas été utilisé depuis, alors il a toujours été "ouvert" depuis. –