Comment obtenir le terme d'élan dans un réseau neuronal en optim

| J'ai un réseau de neurones dans torch7 et je voudrais vérifier comment l'élan du réseau de neurones se développe, ceci parce que je veux le modifier/le réduire parce que je veux faire un traitement supplémentaire avec les valeurs et besoin du terme de vélocité pour le faire. J'ai donc quelque chose comme le code suivant:Comment obtenir le terme d'élan dans un réseau neuronal en optim

for t = 1, params.num_iterations do 
    local x, losses = optim.adam(feval, img, optim_state) 
     img=postProccess(img,content_imageprep,params) 
     print(velocity) -- how? 
end

et je voudrais voir ce que fait la vitesse. Quelqu'un sait-il comment faire cela?

Impression de la optim_state me donne la sortie suivante

v : CudaTensor - size: 1327104 
    m : CudaTensor - size: 1327104 
    learningRate : 10 
    denom : CudaTensor - size: 1327104 
    t : 4

mais je suis maintenant sûr que si, et si oui ce terme représente la vitesse, tout le monde sait?

Source

2017-06-12 Thijser

Quelle est la vitesse dans un réseau de neurones? Je ne l'ai jamais entendu parler de ce terme avant ... pourriez-vous expliquer? –

@ThomasW Quand un poids est mis à jour dans le même sens, la mise à jour peut être de plus en plus grande et de plus grande taille pour converger plus rapidement, si d'un autre côté Un poids change constamment entre croissant et décroissant alors la taille de la mise à jour peut être diminuée afin de se rapprocher de la valeur correcte – Thijser

Edit: Je viens de remarquer que la vélocité = impulsion – Thijser

Vous ne trouverez pas la valeur de l'élan dans l'argument state mais dans l'argument config (qui est absent dans votre appel de fonction, la valeur de l'élan sera égale à sa valeur par défaut, soit 0,9 pour beta1 et 0,999 pour beta2.

Jetez un oeil au code source https://github.com/torch/optim/blob/master/adam.lua#L24

Source

2017-06-13 14:29:47 fonfonx

Ça sonne bien mais ce qui m'intéresse c'est le réel les valeurs de dynamique de chaque poids (pour voir ce qu'elles sont et si elles se déplacent effectivement à l'infini comme je le soupçonne). Sais-tu comment faire cela? – Thijser

Comment obtenir le terme d'élan dans un réseau neuronal en optim

Répondre

Questions connexes