Alternative à innerhtml qui inclut l'en-tête?

Question

Je suis en train d'extraire des données à partir de la page suivante:

http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#

qui, commodément et assez inefficacement, comprend toutes les données intégrées dans un fichier csv dans l'en-tête, défini comme variable appelée gs_csv.

Comment l'extraire? Document.body.innerhtml ignore l'en-tête où les données sont, quelle est l'alternative qui inclut l'en-tête (ou mieux encore, la valeur associée à gs_csv)?

(désolé, nouveau à tout cela, j'ai été la recherche à travers des tas de documentation, et en essayant beaucoup d'entre eux, mais rien n'a fonctionné jusqu'à présent).

---

Merci à Sinan (c'est principalement sa solution transcrite en Python).

import win32com.client 

import time 

import os 

import os.path 

ie = Dispatch("InternetExplorer.Application") 

ie.Visible=False 

ie.Navigate("http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#") 

time.sleep(20) 

webpage=ie.document.body.innerHTML 

s1=ie.document.scripts(1).text 

s1=s1[s1.find("gs_csv")+8:-11] 

scriptfilepath="c:\FO Share\bmreports\script.txt" 

scriptfile = open(scriptfilepath, 'wb') 

scriptfile.write(s1.replace('\n','\n')) 

scriptfile.close() 

ie.quit 

Answer 1

Untested: Avez-vous essayé regarder ce Document.scripts contient?

MISE À JOUR:

Pour une raison quelconque, j'ai immense difficulté à obtenir que cela fonctionne en utilisant le Windows Scripting Host (mais, je ne l'utilise pas très souvent, des excuses). Quoi qu'il en soit, voici la source Perl qui fonctionne:

use strict; 
use warnings; 

use Win32::OLE; 
$Win32::OLE::Warn = 3; 

my $ie = get_ie(); 

$ie->{Visible} = 1; 

$ie->Navigate(
    'http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?' 
    .'param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#' 
); 

sleep 1 until is_ready($ie); 

my $scripts = $ie->Document->{scripts}; 

for my $script (in $scripts) { 
    print $script->text; 
} 

sub is_ready { $_[0]->{ReadyState} == 4 } 

sub get_ie { 
    Win32::OLE->new('InternetExplorer.Application', 
     sub { $_[0] and $_[0]->Quit }, 
    ); 
} 

__END__ 

C:\Temp> ie > output 

output contient maintenant tout dans les balises de script.

Answer 2

récupère la source de cette page en utilisant ajax, et analyse le texte de réponse comme XML en utilisant jquery. Il devrait être assez simple pour obtenir le texte de la première étiquette que vous rencontrez dans le

Je ne suis pas en contact avec jquery, ou j'aurais posté des exemples de code.

EDIT: Je suppose que vous parlez d'aller chercher le csv du côté client.

Answer 3

Si cela est juste un scénario de exctracting ensuite ces données csv est aussi simple que cela:

import urllib2 

response = urllib2.urlopen('http://www.bmreports.com/foo?bar?') 
html = response.read() 
csv = data.split('gs_csv=')[1].split('</SCRIPT>')[0] 

#process csv data here 

Answer 4

Merci à Sinan (ce qui est le plus souvent sa solution transcrit en Python).

importation win32com.client

temps import import os

importation os.path

ie = Dispatch ("InternetExplorer.Application") ie.Visible = False

ie.Navigate ("http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#")

time.sleep (20)

webpage = ie.document.body.innerHTML

s1 = ie.document.scripts (1) .text s1 = s1 [s1.find ("gs_csv") + 8: -11]

scriptfilepath = "c: \ FO Share \ bmreports \ script.txt"

fichierscript = open (scriptfilepath, 'wb')

scriptfile.write (s1.replace ('\ n', '\ n'))

scriptfile.close()

ie.quit