Initialisation de Xavier pour les cellules GRU

Question

Essayer d'initialiser mon modèle seq2seq. J'utilise les cellules GRU, mais je n'arrive pas à comprendre l'initialisation de Xavier. Le code dans rnn_cell.py ne semble pas permettre cela. Des idées? Besoin de le faire manuellement?

thx

Answer 1

poids de la cellule sont created using tf.get_variable() sans spécifier un paramètre initializer. De https://www.tensorflow.org/versions/r0.10/api_docs/python/state_ops.html#get_variable:

Si initializer est None (la valeur par défaut), l'initialisation par défaut passé dans le champ variable sera utilisée.

Par conséquent, quelque chose comme ce qui suit devrait fonctionner:

cell = tf.nn.rnn_cell.GRUCell(256) 
with tf.variable_scope('RNN', initializer=tf.contrib.layers.xavier_initializer()): 
    outputs, state = tf.nn.dynamic_rnn(cell, ...)