performance: ruby ​​CSV.foreach vs CSV.parse

Question

Je ne suis pas sûr que cette question est liée à ruby ​​seulement, peut-être que vous le trouverez utile à toute autre langue.

Je me demande si je devrais utiliser Parse ou foreach:

• CSV.parse(filepath) va analyser le fichier entier et retourner un tableau de tableaux, qui reflétera le fichier csv et seront stockés dans la mémoire. Plus tard, je vais traiter ces lignes de tableau.

• CSV.foreach(filepath) va lire/analyser le fichier ligne par ligne et le traiter ligne par ligne.

En matière de performance, y a-t-il une différence? Y a-t-il une approche préférable? PS: Je sais que dans ruby ​​je peux fournir un bloc avec la méthode d'analyse et ensuite il va gérer chaque rangée séparément.

Answer 1

Voici mon test:

require 'csv' 
require 'benchmark' 

small_csv_file = "test_data_small_50k.csv" 
large_csv_file = "test_data_large_20m.csv" 

Benchmark.bmbm do |x| 
    x.report("Small: CSV #parse") do 
     CSV.parse(File.open(small_csv_file), headers: true) do |row| 
      row 
     end 
    end 

    x.report("Small: CSV #foreach") do 
     CSV.foreach(small_csv_file, headers: true) do |row| 
      row 
     end 
    end 

    x.report("Large: CSV #parse") do 
     CSV.parse(File.open(large_csv_file), headers: true) do |row| 
      row 
     end 
    end 

    x.report("Large: CSV #foreach") do 
     CSV.foreach(large_csv_file, headers: true) do |row| 
      row 
     end 
    end 
end 

Rehearsal ------------------------------------------------------- 
Small: CSV #parse  0.950000 0.000000 0.950000 ( 0.952493) 
Small: CSV #foreach 0.950000 0.000000 0.950000 ( 0.953514) 
Large: CSV #parse 659.000000 2.120000 661.120000 (661.280070) 
Large: CSV #foreach 648.240000 1.800000 650.040000 (650.062963) 
------------------------------------------- total: 1313.060000sec 

          user  system  total  real 
Small: CSV #parse  1.000000 0.000000 1.000000 ( 1.143246) 
Small: CSV #foreach 0.990000 0.000000 0.990000 ( 0.984285) 
Large: CSV #parse 646.380000 1.890000 648.270000 (648.286247) 
Large: CSV #foreach 651.010000 1.840000 652.850000 (652.874320) 

Les benchmarks ont été réalisés sur un Macbook Pro avec 8 Go de mémoire. Les résultats indiquent que les performances sont statistiquement équivalentes en utilisant CSV # parse ou CSV # foreach.

Options têtes Suppressions (seul petit fichier testé):

require 'csv' 
require 'benchmark' 

small_csv_file = "test_data_small_50k.csv" 

Benchmark.bmbm do |x| 
    x.report("Small: CSV #parse") do 
     CSV.parse(File.open(small_csv_file)) do |row| 
      row 
     end 
    end 

    x.report("Small: CSV #foreach") do 
     CSV.foreach(small_csv_file) do |row| 
      row 
     end 
    end 
end 

Rehearsal ------------------------------------------------------- 
Small: CSV #parse  0.590000 0.010000 0.600000 ( 0.597775) 
Small: CSV #foreach 0.620000 0.000000 0.620000 ( 0.621950) 
---------------------------------------------- total: 1.220000sec 

          user  system  total  real 
Small: CSV #parse  0.590000 0.000000 0.590000 ( 0.597594) 
Small: CSV #foreach 0.610000 0.000000 0.610000 ( 0.604537) 

Notes:

large_csv_file était d'une structure différente de celle des résultats small_csv_file et donc de comparaison (c.-à-lignes/sec) entre les deux fichiers serait être inexact.

small_csv_file avait 50.000 dossiers

large_csv_file had 1,000,000 records

option de têtes définie sur true réduit considérablement les performances en raison de la construction d'un hachage pour chaque champ de la ligne (voir la section HeadersConverters: http://www.ruby-doc.org/stdlib-2.0.0/libdoc/csv/rdoc/CSV.html)