Python Web-Scrape Loop via la liste CSV des URL?

Question

HI, j'ai une liste de 10 sites Web au format CSV. Tous les sites ont le même format général, y compris une grande table. Je veux seulement les données dans les 7èmes colonnes. Je suis capable d'extraire le html et de filtrer les données de la 7ème colonne (via RegEx) sur une base individuelle mais je n'arrive pas à comprendre comment faire une boucle dans le fichier CSV. Je pense que je suis proche mais mon script ne fonctionnera pas. J'apprécierais vraiment que quelqu'un puisse m'aider à comprendre comment faire cela. Voici ce que j'ai:

#Python v2.6.2 

import csv 
import urllib2 
import re 

urls = csv.reader(open('list.csv')) 
n =0 
while n <=10: 
    for url in urls: 
     response = urllib2.urlopen(url[n]) 
     html = response.read() 
     print re.findall('td7.*?td',html) 
     n +=1 

Answer 1

Lorsque j'ai copié votre routine, j'ai eu une erreur d'espace blanc/erreur de tabulation. Vérifiez vos onglets. Vous avez mal indexé dans la chaîne d'URL en utilisant votre compteur de boucle. Cela t'aurait aussi foutu en l'air.

De plus, vous n'avez pas vraiment besoin de contrôler la boucle avec un compteur. Cela fera une boucle pour chaque entrée de ligne dans votre fichier CSV.

#Python v2.6.2 

import csv 
import urllib2 
import re 

urls = csv.reader(open('list.csv')) 
for url in urls: 
    response = urllib2.urlopen(url[0]) 
    html = response.read() 
    print re.findall('td7.*?td',html) 

Enfin, assurez-vous que vos URL sont correctement formés:

http://www.cnn.com 
http://www.fark.com 
http://www.cbc.ca