Problèmes dans un script de grattage à l'écran de ruby ​​

Question

J'ai un petit script de balayage/balayage d'écran qui fonctionnait il y a un demi-an, mais maintenant, ça ne marche plus. J'ai vérifié les valeurs html et css pour l'expression reg dans la source de la page, mais ils sont toujours les mêmes, donc de ce point de vue, cela devrait fonctionner. Des suppositions?

require "open-uri" 

# output file 
f = open 'results.csv', 'w+' 

# output string 
results = "" 

begin 

    # crawl first 20 pages 
    for i in (1..20) 
    open("http://www.example-#{i}.com") {|url| 

     # check each line using regular expression 
     url.each_line { |line| 
     if line =~ /class=\"L1g\" onclick=\"s_objectID=\'foobar\'\">([^<]+)<\/a><\/h3><\/li>/ 
      # if regular expression matches then add to results 
      results += $1 + "\n" 
     end 
     } 
    } 
    end 
ensure 
    # write to and close file 
    f.print results 
    f.close 
end 

Answer 1

Le site Web cible semble avoir modifié la structure de leur page afin que votre Regex ne corresponde plus.

Ceci est un bon exemple de pourquoi vous ne devriez pas récurer des pages en utilisant Regex pour faire correspondre le contenu. Essayez de retravailler votre script en utilisant un analyseur DOM comme Nokogiri. Cela n'empêchera pas forcément votre script de se rompre mais lui permettra au moins de survivre à des changements mineurs.

La raison pour laquelle il ne fonctionne pas peut être vu dans ce lien Rubular

Answer 2

Une autre option pour racler Web est iMacros. Ces scripts sont très faciles à adapter aux modifications du site.