Récupérer des informations avec urllib de Python à partir d'une page effectuée via __doPostBack()?

Question

J'essaye d'analyser une page qui a différentes sections qui sont chargées avec une fonction Javascript __doPostBack().

Un exemple d'un lien est: javascript: __ doPostBack ('ctl00 $ cphMain $ ucOemSchPicker $ dlSch $ ctl03 $ btnSch', '')

Dès que cela est cliqué, le navigateur ne va pas chercher un nouvelle URL mais une section de la page Web est mise à jour pour refléter les nouvelles informations.

Que dois-je passer dans une fonction urllib pour terminer l'opération?

Answer 1

javascript:__doPostBack('... 

(Urgh. C'est une approche triste et méchant.)

Une approche simple d'usage général pour trouver des URL dont la logique est enterré dans JavaScript est d'exécuter la page normalement, avec un débogueur de réseau sur (Par exemple, l'onglet 'Net' de Firebug, ou Fiddler). En surveillant la requête effectuée lorsque vous cliquez sur, vous pouvez voir quelle URL et quels paramètres de corps de requête POST doivent être transmis.

Vous devez utiliser l'argument data de urlopen pour envoyer des corps de requête POST.