Comment partager des poids entre des flux parallèles?

Question

Existe-t-il un moyen de partager les poids entre les flux parallèles d'un modèle de torche?

Par exemple, j'ai le modèle suivant.

mlp = nn.Sequential(); 
c = nn.Parallel(1,2)  -- Parallel container will associate a module to each slice of dimension 1 
         -- (row space), and concatenate the outputs over the 2nd dimension. 

for i=1,10 do   -- Add 10 Linear+Reshape modules in parallel (input = 3, output = 2x1) 
local t=nn.Sequential() 
t:add(nn.Linear(3,2)) -- Linear module (input = 3, output = 2) 
t:add(nn.Reshape(2,1)) -- Reshape 1D Tensor of size 2 to 2D Tensor of size 2x1 
c:add(t) 
end 

mlp:add(c) 

Et maintenant, je veux partager le poids (y compris tout, poids, biais, gradients), de la couche au-dessus nn.Linear à travers un nombre différent de i (ainsi, par exemple nn.Linear(3,2)[1] avec nn.Linear(3,2)[9]). Quelles options ai-je pour les partager?

Ou est-il plutôt recommandé d'utiliser un autre conteneur/l'approche de module?

Answer 1

Vous pouvez créer le module qui sera répété:

t = nn.Sequential() 
t:add(nn.Linear(3,2)) 
t:add(nn.Reshape(2,1)) 

Ensuite, vous pouvez utiliser la fonction clone de la torche avec des paramètres supplémentaires pour partager les poids (https://github.com/torch/nn/blob/master/doc/module.md#clonemlp)

mlp = nn.Sequential() 
c = nn.Parallel(1,2) 
for i = 1, 10 do 
    c:add(t:clone('weight', 'bias')) 
end 
mlp:add(c)