Ruby on rails: problème de mémoire create_fixtures

Question

Je dois créer environ 100 000 enregistrements. Ces enregistrements se trouvent dans le fichier csv et sont chargés à l'aide de la fonction create_fixtures. C'est lent sur ma machine de développement mais ça se termine. Le problème commence à la production où nous avons des limites de mémoire par processus qui conduit à tuer le processus de râteau. Je pense que c'est parce que create_fixtures importe toutes les données en mémoire. Est-ce que quelqu'un sait comment le forcer à importer des morceaux plus petits (avant de couper un grand csv en quelques plus petits).

Answer 1

Comment charger/analyser le fichier CSV? Je pense que j'utiliserais les utilitaires de Ruby pour ouvrir et lire et analyser chaque ligne moi-même.

Answer 2

Ne le faites pas! Create_fixtures est conçu pour charger des données de test, qui doivent être aussi grandes que nécessaire pour exercer une fonction. C'est pas destiné à charger des milliers d'enregistrements sur une base de données de production (ou tout autre type). Si c'est un one-off alors peut-être OK, mais comme une chose régulière, je serais très nerveux.

Si vos données est assez simple, je veux dire un String#split simple, cela fonctionnerait, cela devrait probablement être votre approche, quelque chose comme

File.foreach(csv_file_path) do |line| 
    fields = line.split(/,/) 
    # create records from the array of fields 
end 

Sinon (vous pouvez avoir des valeurs de chaîne avec des guillemets ou des virgules , les valeurs de champ manquantes ou plusieurs formats d'enregistrement, ce genre de chose), vous devriez probablement regarder le CSV library, qui fait déjà partie de l'installation Ruby 1.8.6, ou mieux encore, regardez le FasterCSV Gem, qui remplace CSV à partir de 1.9.

MISE À JOUR: Jouissant d'une Bates Ryan juste posted a screencast sur le sujet vexatoire des données de semences ...