Comment gérer et générer de gros fichiers dans des rails?

Question

Je suis assez nouveau dans le monde des rails, et aujourd'hui je faisais face au problème suivant:

Je dois générer un très gros json. Au début, j'ai essayé de le faire en mémoire mais il n'y en avait pas assez alors j'ai généré un fichier et stocké toutes les lignes là-bas. Maintenant, je dois télécharger ce fichier à partir d'un client. Comment puis-je faire cela avec des rails? Est-ce que j'utilise la meilleure approche?

J'ai lu dans certains blogs qu'ils recommandent d'utiliser Amazon S3.

Des idées?

Merci!

Answer 1

Je ne suis pas sûr que je complètement comprends votre problème mais je vais essayer de vous donner quelques conseils:

Si la génération de fichiers prend beaucoup de temps (est cpu intensive), vous voudrez peut-être regarder faire la queue.

Ce sont des techniques qui "vous permettent de créer des tâches et de les placer dans une file d'attente, puis, plus tard, de retirer ces tâches de la file d'attente et de les traiter." Ainsi, votre processus ruby ​​/ rails peut toujours servir les demandes entrantes pendant que la génération de fichier est placée dans une file d'attente.

• https://github.com/defunkt/resque

S3 est une option de stockage d'Amazon, quelque chose comme un hardrive externe pour le web. Il est utile pour stocker de gros morceaux de données comme des images ou vos fichiers json.

Alors S3 ne vous aidera que si vous avez besoin de stocker vos gros fichiers json en ligne.

Encore une fois: je ne sais pas où exactement votre problème est mais j'ai eu l'impression que vous étiez un peu confus j'espère que cela aide.