Obtenez le code HTML d'un site Web avec ruby ​​sur rails

Question

Comment puis-je obtenir les données de page d'un autre site Web quelque part sur le web avec ruby ​​sur rails?

Answer 1

Vous pouvez utiliser httparty juste obtenir les données

Exemple de code (de example):

require File.join(dir, 'httparty') 
require 'pp' 

class Google 
    include HTTParty 
    format :html 
end 

# google.com redirects to www.google.com so this is live test for redirection 
pp Google.get('http://google.com') 

puts '', '*'*70, '' 

# check that ssl is requesting right 
pp Google.get('https://www.google.com') 

Nokogiri excelle vraiment à l'analyse que les données .. Voici quelques exemples de code de la Railscast:

url = "http://www.walmart.com/search/search-ng.do?search_constraint=0&ic=48_0&search_query=batman&Find.x=0&Find.y=0&Find=Find" 
doc = Nokogiri::HTML(open(url)) 
puts doc.at_css("title").text 
doc.css(".item").each do |item| 
    title = item.at_css(".prodLink").text 
    price = item.at_css(".PriceCompare .BodyS, .PriceXLBold").text[/\$[0-9\.]+/] 
    puts "#{title} - #{price}" 
    puts item.at_css(".prodLink")[:href] 
end 

Answer 2

Utilisez Net/HTTP (par exemple, lire this cheatsheet):

require "net/https" 

http = Net::HTTP.new "google.com", 80 
request = Net::HTTP::Get.new "/" 
response = http.request request 

puts response.code 
puts response.body 

Answer 3

Net::HTTP navires dans la bibliothèque standard, c'est un plus, mais il y a des frais bibliothèques de niveau supérieur, vous pouvez jeter un oeil à, comme rest-client:

RestClient.get('http://example.com/resource', params: {x: "1", y: "2"}) 

Answer 4

J'aime openURI moi-même si elle est juste pour simplement obtenir la content pas d'histoires. Il suffit d'ajouter require 'open-uri' à l'environnement, puis open('http://domain.tld/document.html').read.