Comment ventiler une tâche liée E/S dans Ruby?

Question

Je fais un tas d'appels AWS pour créer/supprimer des règles de groupes de sécurité et je veux accélérer les choses avec la parallélisation.

Existe-t-il un moyen général de paralléliser une opération liée aux E/S sur une collection de taille fixe? Une méthode qui prend une collection, une taille de lot et un bloc fonctionnel serait bien.

Answer 1

La méthode suivante a très bien fonctionné pour moi, ce qui donne un ~ 100x speedup:

# A method to parallelize an operation across a collection. 
# Example: 
# 
# fan_out [1, 2, 3, 4], 2 do |batch| 
# puts batch.to_s 
# end 
# 
# out >> 
# [3, 4] 
# [1, 2] 
def fan_out(arr, num_batches, &block) 
    threads = [] 
    arr.each_slice(arr.size/num_batches).each do |batch| 
    threads << Thread.new { 
     block.call(batch) 
    } 
    end 
    threads.each(&:join) 
end