Comment analyser la page web avec des éléments ajax

Question

Je veux explorer certaines pages Web, comme ce qui suit

http://www.youtube.com/user/koglin66/feed?filter=2

mais il y a un bouton « charge plus », il est lié à une demande de paiement ajax

http://www.youtube.com/channel_ajax?action_load_more_feed_items=1&activity_view=1&paging=1352148528&channel_id=UCCw8aVnsIeu9S6OPQyaQ14g 

Je souhaite explorer toute la page. manuellement, j'ai cliqué sur le bouton à plusieurs reprises jusqu'à ce qu'il n'y a plus à charger, par l'automatisation, comment puis-je explorer toute la page? Merci!

Answer 1

J'ai récemment rencontré le même problème avec un autre site que je voulais mettre au rebut. J'utilise Java et après quelques recherches sur le web j'ai utilisé Selenium IDE pour firefox dans lequel on peut écrire des cas de test Java Junit qui vont ouvrir automatiquement la page web et cliquer sur des boutons, remplir des formulaires, etc Il supporte aussi C#, Python, Ruby , etc

Je l'ai utilisé pour cliquer sur le bouton Charger plus et lorsque la page a été chargée complètement après tous les clics je l'ai sauvé manuellement.

Vous pouvez télécharger Sélénium à partir de leur site web et j'ai trouvé cette vidéo youtube utile aussi http://www.youtube.com/watch?v=twdDfDOrHC4

Answer 2

Oui, vous pouvez utiliser Selenium IDE, ou utiliser un autre programme/bibliothèque de base du navigateur Cliquez sur l'action. Comme webkit, activex d'IE.

Et vous pouvez essayer FMiner http://www.fminer.com/, il peut enregistrer et jouer des actions humaines sur le navigateur pour gratter les données, mais ce n'est pas gratuit.