Comment contrôler la mémoire lors de l'utilisation de Keras avec backend tensorflow?

Question

J'ai créé une classe wrapper qui initialise un modèle keras.models.Sequential et dispose de quelques méthodes pour démarrer le processus d'entraînement et suivre les progrès. J'instancie cette classe dans mon fichier main et effectue le processus de formation. Des trucs assez banals.

Ma question est:

Comment libérer toute la mémoire GPU allouée par tensorflow. J'ai essayé ce qui suit à pas de chance:

import keras.backend.tensorflow_backend as K 
with K.get_session() as sess: 
    K.set_session(sess) 
    import tensorflow as tf 
    from neural_net import NeuralNet 
    with tf.device('/gpu:0'): 
     nn = NeuralNet('config', train_db_path, test_db_path) 
     nn.train(1000, 1) 
     print 'Done' 
    K._SESSION.close() 
    K.set_session(None) 

Même après la session a été fermée et remise à None, nvidia-smi ne reflète pas une réduction de l'utilisation de la mémoire. Des idées?

Idée

Serait-il utile d'ajouter une méthode __exit__ à ma classe NeuralNet et instancier comme:

with NeuralNet() as nn: 
    nn.train(1000, 1) 

Comment dois-je libérer les ressources du modèle keras dans cette méthode ?

Environnement de test

J'utilise ipython Notebook sur une Ubuntu 14.04 avec 3 GTX 960 GPU.

Référence:

1. https://github.com/fchollet/keras/issues/2102
2. https://groups.google.com/forum/#!topic/keras-users/MFUEY9P1sc8

Answer 1

Les œuvres suivantes pour moi réinitialisent l'état des couches KERAS dans mon carnet Jupyter pour chaque course:

from keras import backend as K 
K.clear_session() 
sess = tf.Session() 
K.set_session(sess) 

En outre, le graphique est nommé et réinitialisé à chaque fois que le ordinateur portable fonctionne à l'aide:

graphr = K.get_session().graph 
with graphr.as_default(): 
    #...graph building statements... 

Note: J'essaie toujours d'envelopper ma tête autour des concepts de Keras et tensorflow (je crois qu'ils sont décrits mal dans la documentation et des exemples), mais les travaux ci-dessus.