Raclage de données à partir d'un site Web dynamique

Question

Contexte: La page contient un tableau contenant des données. Lorsque vous cliquez sur plusieurs liens hypertexte, les données de la table sont remplacées par de nouvelles données. En outre, la page est une page ASPX.

Objectif: Je souhaite supprimer les données de la table pour tous les hyperliens activés. J'ai regardé ce qui se passe via firebug et quand un lien hypertexte est cliqué, il génère un post http vers le serveur via ajax. Le problème est qu'il y a beaucoup de paramètres de la poubelle vraiment envoyés. Je suppose que c'est parce que asp fait certaines choses de type sessioning. Je suppose que même si j'ai copié les paramètres exacts que mon navigateur a envoyés, la plupart d'entre eux ne sera pas valide plus tard de toute façon.

Comment les gens écrivent-ils habituellement des scripts http qui traitent de ce genre de choses?

Answer 1

La méthode infaillible que j'utilise consiste simplement à interpréter JS de la page dans mon script de grattage et à le laisser remplir tous ces paramètres lui-même. Le moyen le plus rapide d'y parvenir est d'utiliser un moteur prêt, comme WebKit, et de construire votre grattoir par-dessus.

Il est plus difficile, mais plus flexible, d'utiliser les moteurs Google V8 ou Spidermonkey JS de Mozilla et de leur fournir votre propre contexte DOM.

Answer 2

La plupart du temps, j'utilise WatiN pour des éraflures simples. Il est rare que j'écrive un client parser/scrapers plus. Je vais utiliser le grattoir web irobotsoft pour cela.

Answer 3

Cela devrait être très simple.

Answer 4

Here is a Python example qui utilise WebKit pour analyser le JavaScript dans une page Web et vous fournir le code HTML finale