Comment lire seulement x nombre d'octets du corps en utilisant Net :: HTTP?

Question

Il semble que les méthodes de Net :: HTTP de Ruby sont tout ou rien quand il s'agit de lire le corps d'une page web. Comment puis-je lire, disons, juste les 100 premiers octets du corps?

J'essaie de lire à partir d'un serveur de contenu qui renvoie un court message d'erreur dans le corps de la réponse si le fichier demandé n'est pas disponible. J'ai besoin de lire suffisamment de corps pour déterminer si le fichier est là. Les fichiers sont énormes, donc je ne veux pas que tout le corps vérifie si le fichier est disponible.

Answer 1

Vous ne pouvez pas. Mais pourquoi avez-vous besoin de? Sûrement si la page dit juste que le fichier n'est pas disponible alors ce ne sera pas une page énorme (c'est-à-dire par définition, le fichier ne sera pas là)?

Answer 2

Etes-vous sûr que le serveur de contenu ne renvoie qu'une courte page d'erreur?

-t-il pas aussi régler la HTTPResponse à quelque chose comme approprié 404. Dans ce cas, vous pouvez intercepter l'exception dérivée HTTPClientError (très probablement HTTPNotFound) qui est soulevée lors de l'accès Net::HTTP.value().

Si vous obtenez une erreur, votre fichier n'est pas là si vous obtenez 200 le fichier commence à télécharger et vous pouvez fermer la connexion.

Answer 3

Pour lire le corps d'une requête HTTP en morceaux, vous aurez besoin d'utiliser Net::HTTPResponse#read_body comme ceci:

http.request_get('/large_resource') do |response| 
    response.read_body do |segment| 
    print segment 
    end 
end 

Answer 4

Vous ne devriez pas utiliser juste un HTTP HEAD demande (méthode Ruby Net::HTTP::Head) pour voir si la ressource est là, et ne continue que si vous obtenez une réponse 2xx ou 3xx? Cela suppose que votre serveur est configuré pour renvoyer un code d'erreur 4xx si le document n'est pas disponible. Je dirais que c'était la bonne solution. Une alternative est de demander la tête HTTP et d'examiner la valeur de l'en-tête content-length dans le résultat: si votre serveur est correctement configuré, vous devriez facilement pouvoir faire la différence de longueur entre un court message et un long document. Une autre alternative: définissez le champ d'en-tête content-range dans la requête (ce qui suppose à nouveau que le serveur se comporte correctement WRT la spécification HTTP).

Je ne pense pas que la résolution du problème dans le client après vous avez envoyé la requête GET est la voie à suivre: à ce moment, le réseau a fait le gros du travail, et vous ne serez pas vraiment enregistrer les ressources gaspillées.

Référence: http header definitions

Answer 5

Je voulais faire une seule fois, et la seule chose que je pouvais penser est rapiéçage singe les méthodes Net::HTTP#read_body et Net::HTTP#read_body_0 d'accepter un paramètre de longueur, puis dans l'ancienne passe juste la longueur paramètre à la méthode read_body_0, où vous pouvez lire autant que la longueur des octets.

Answer 6

Ceci est un ancien fil de discussion, mais la question de savoir comment lire seulement une partie d'un fichier via HTTP dans Ruby est encore la plus souvent sans réponse selon mes recherches. Voici une solution je suis venu avec par singe-patcher Net :: HTTP un peu:

require 'net/http' 

# provide access to the actual socket 
class Net::HTTPResponse 
    attr_reader :socket 
end 

uri = URI("http://www.example.com/path/to/file") 
begin 
    Net::HTTP.start(uri.host, uri.port) do |http| 
    request = Net::HTTP::Get.new(uri.request_uri) 
    # calling request with a block prevents body from being read 
    http.request(request) do |response| 
     # do whatever limited reading you want to do with the socket 
     x = response.socket.read(100); 
     # be sure to call finish before exiting the block 
     http.finish 
    end 
    end 
rescue IOError 
    # ignore 
end 

Le sauvetage attrape le IOError qui est jeté lorsque vous appelez HTTP.finish prématurément.

Pour votre information, la prise dans l'objet HTTPResponse est pas un vrai objet IO (il est une classe interne appelée BufferedIO), mais il est assez facile de singe patch qui, aussi, pour imiter les méthodes IO dont vous avez besoin. Par exemple, une autre bibliothèque que j'utilisais (exifr) avait besoin de la méthode readchar, qui était facile d'ajouter:

class Net::BufferedIO 
    def readchar 
    read(1)[0].ord 
    end 
end