Dégradé de l'expression de Theano pour la visualisation de filtre dans Keras

Question

Pour un ConvNet, il peut être intéressant de trouver l'entrée normalisée qui maximise l'activité d'une seule conversion. filtre comme un moyen de visualize the filters. Je voudrais faire cela dans le paquet d'apprentissage en profondeur Keras. Cela pourrait être fait en utilisant un algorithme d'optimisation de boîte noire avec le code de FAQ.

# with a Sequential model 
get_3rd_layer_output = theano.function([model.layers[0].input], 
             model.layers[3].get_output(train=False)) 
layer_output = get_3rd_layer_output(X) 

Cependant, ce serait une tâche d'optimisation sensiblement plus facile si j'avais le gradient. Comment puis-je extraire le dégradé de l'expression Theano et l'entrer dans une bibliothèque d'optimisation Python telle que Scipy?

Answer 1

Vous pouvez imprimer le dégradé comme décrit here et le coder à la main dans Scipy. Vous pouvez également faire l'optimisation dans Theano - voir this question.

Cependant, sans doute l'approche la plus straight-forward est de créer une fonction get_gradients() qui utilise theano.grad() pour retourner les gradients des filtres par rapport à une entrée, puis appelez scipy.optimize.minimize avec jac=get_gradients. Selon le documentation:

jac: bool ou appelable, en option jacobienne (gradient) de la fonction objectif . [...] jac peut aussi être un callable renvoyant le gradient de à l'objectif. Dans ce cas, il doit accepter les mêmes arguments que fun.