Diffusion d'un fichier volumineux ligne par ligne à partir de S3

Question

J'ai quelques fichiers csv 10gb en s3 que je voudrais utiliser pour graver ma base de données. J'utilise une application RoR sur Heroku et je n'arrive pas à comprendre comment streamer la ligne csv ligne par ligne pour la traiter car elle est trop grande pour tenir dans la mémoire et je ne peux pas utiliser File.open pour accéder à un fichier externe . J'ai cherché à utiliser Tempfile pour streamer des octets à la fois, mais ils ne correspondent pas avec de nouvelles lignes et la reconstruction de Ruby est difficile.

Merci!

Answer 1

Vous pouvez lire un flux, comme décrit dans la documentation de l'API: http://docs.aws.amazon.com/AWSRubySDK/latest/AWS/S3/S3Object.html

File.open('output', 'wb') do |file| 
    large_object.read do |chunk| 
    file.write(chunk) 
    end 
end 

Vous pouvez également utiliser range en option pour lire une gamme d'octets.

http://docs.aws.amazon.com/AWSRubySDK/latest/AWS/S3/S3Object.html#read-instance_method