Quels outils Python puis-je utiliser pour écrire un grattoir d'une page Web protégée par mot de passe?

Question

Supposons qu'il existe un site Web protégé par mot de passe auquel je souhaite accéder pour en extraire des informations et les placer dans une feuille de calcul. Par exemple, il pourrait s'agir de ma page de compte de carte de crédit personnelle et je voudrais obtenir des informations sur les dernières transactions. Une variante de ceci serait si le site permettait de télécharger les informations de transaction sous forme de fichier CSV, auquel cas je voudrais télécharger ce fichier.

Si je veux écrire un tel grattoir en Python, quels paquets dois-je utiliser pour la tâche? Cela dépend-il de la façon dont un site Web spécifique est mis en œuvre, c'est-à-dire que je pourrais avoir besoin d'un outil pour gratter un site et d'un autre outil pour en gratter un autre.

Merci

Answer 1

En fait, je fait quelque chose de très semblable à cela, mais dans le nœud. Voulez-vous vraiment le faire en Python?

Si vous voulez coller à Python, jetez un oeil à ces modules:

BeautifulSoup

requests

Quelqu'un a écrit un module vraiment génial combinant les deux modules ci-dessus:

Robobrowser

Si vous souhaitez vous aventurer sur la route des nœuds , Jetez un oeil à ceci:

nightmarejs