Les migrations de Ruby on Rails sont très lentes

Question

J'ai une base de données SQLite3, qui contient un grand nombre de données. J'utilise la migration pour cela.

3 tables auront suivant le nombre d'enregistrements: Table_1 aura environ 10 dossiers chaque enregistrement de Table_1 sera associé à ~ 100 enregistrements dans Table_2 chaque enregistrement de Table_2 sera associée à ~ 2000 enregistrements dans Table_3

Le nombre d'enregistrements sera d'environ 10 * 100 * 2000 = 2000000

Cela prend beaucoup de temps ... l'événement, si je remplir ma base de données avec environ 20 000 dossiers, il faut environ 10 minutes.

De plus, je constate que, lors de l'exécution de la migration, interpréteur Ruby prend seulement 5% de temps CPU et 95% reste inutilisé ...

la raison de cette performance pure?

Answer 1

Tout simplement, en insérant de grandes quantités d'enregistrements à travers des objets AR manuellement sauver un à la fois va prendre des années. Le meilleur compromis entre la rapidité et la "propreté" (c'est-à-dire pas un hack dodgy complet) pour l'insertion de grandes quantités de données est la méthode d'importation des extensions d'ar (http://github.com/zdennis/ar-extensions). Ce n'est pas idéal, mais c'est mieux que n'importe laquelle des alternatives que je pourrais trouver, et la syntaxe est propre et ne nécessite pas que vous tombiez sur SQL brut (ou n'importe où à proximité).

Exemple de syntaxe:

items = Array.new 
1.upto(200) do |n| 
    items << Item.new :some_field => n 
end 
Item.import items, :validate => false 

Au moins dans mysql cette volonté batch les enregistrements dans une seule instruction INSERT avec plusieurs ensembles de valeurs. Assez vite.

Answer 2

Si vous exécutez chaque instruction INSERT dans sa propre transaction, SQLite peut être très, très lent. Mais si vous exécutez tout cela en une seule transaction (ou un ensemble logique de transactions), alors cela peut être très rapide.

Answer 3

Seed_fu pourrait aider, comme nous le verrons dans ce question