Dans la page Web de la mémoire de navigation

Question

Est-il leur moyen d'exécuter des événements de chargement de javascript de la page Web après sraping html, sans aucun navigateur. c'est-à-dire que je dois scrapper le contenu Web rendu via javascript par exemple vedio de la page Web des nouvelles bbc sont rendus via javacscript après le chargement de la page, je suis intéressé à jeter la vidéo et la description de tir. http://www.bbc.co.uk/news/video_and_audio/

Answer 1

Pour autant que je sache, pas de. Si le contenu est rendu par Javascript, vous avez besoin d'un navigateur. Il est possible d'automatiser un navigateur: http://seleniumhq.org/

Answer 2

je fais souvent cela en utilisant WebKit: http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/

import sys 
from PyQt4.QtGui import * 
from PyQt4.QtCore import * 
from PyQt4.QtWebKit import * 

class Render(QWebPage): 
    def __init__(self, url): 
    self.app = QApplication(sys.argv) 
    QWebPage.__init__(self) 
    self.loadFinished.connect(self._loadFinished) 
    self.mainFrame().load(QUrl(url)) 
    self.app.exec_() 

    def _loadFinished(self, result): 
    self.frame = self.mainFrame() 
    self.app.quit() 

url = 'http://sitescraper.net' 
r = Render(url) 
html = r.frame.toHtml()