Comment télécharger rapidement beaucoup de pages web en ruby? Téléchargement en parallèle?

Question

J'ai besoin de gratter (en utilisant scrAPI) 400+ pages web rubis, mon code actuel est séquentiel:

data = urls.map {|url| scraper.scrape url } 

En fait, le code est un peu différent (gestion des exceptions et d'autres choses).

Comment puis-je le rendre plus rapide? Comment puis-je paralléliser les téléchargements?

Answer 1

th = [] 
data = [] 
dlock = Mutex.new 

urls.each do |url| 
    th << Thread.new(url) do |url| 
    d = scraper.scrape url 
    dlock.synchronize { data << d } 
    end 
end 

th.each { |t| t.join } 

Tada! (Attention, écrit de mémoire, non testé, peut manger votre chaton, etc.)

Edit: je me suis dit que quelqu'un doit avoir écrit une version généralisée de ce fait, et ils ont donc: http://peach.rubyforge.org/ - amusez-vous!

Answer 2

C'est à peu près un exemple utilisé dans l'explication Pioche du filetage:

http://www.rubycentral.com/pickaxe/tut_threads.html

Vous devriez être en mesure d'adapter le code Pioche trivialement utiliser votre grattoir.