Est-ce que la mesure de test tutoriel RNN PTB Tensorflow et réinitialisation d'état n'est pas correcte?

Question

J'ai une question sur Tensorflow PTB RNN tutoriel code ptb_word_lm.py. Les blocs de code ci-dessous proviennent du code.

1. Est-il acceptable de réinitialiser l'état pour chaque lot?

   self._initial_state = cell.zero_state(batch_size, data_type()) 
   
   with tf.device("/cpu:0"): 
       embedding = tf.get_variable(
        "embedding", [vocab_size, size], dtype=data_type()) 
       inputs = tf.nn.embedding_lookup(embedding, input_.input_data) 
   
   if is_training and config.keep_prob < 1: 
       inputs = tf.nn.dropout(inputs, config.keep_prob) 
   outputs = [] 
   state = self._initial_state 
   with tf.variable_scope("RNN"): 
       for time_step in range(num_steps): 
       if time_step > 0: tf.get_variable_scope().reuse_variables() 
       (cell_output, state) = cell(inputs[:, time_step, :], state) 
       outputs.append(cell_output) 
   

   En ligne 133, nous définissons l'état initial comme zéro. Ensuite, ligne 153, nous utilisons l'état zéro comme état de départ des étapes rnn. Cela signifie que chaque état de départ du lot est défini sur zéro. Je crois que si nous voulons appliquer BPTT (rétropropagation dans le temps), nous devrions faire une entrée d'état externe (non nulle) de l'étape où les données précédentes sont terminées, comme RNN avec état (dans Keras).

   J'ai trouvé que le rétablissement de l'état initial à zéro fonctionne pratiquement. Mais y a-t-il un arrière-plan théorique (ou un papier) expliquant pourquoi cela fonctionne? Est-il acceptable de mesurer la perplexité du test comme ceci? En relation avec la question précédente ... Le modèle fixe l'état initial à zéro pour chaque lot. Cependant, à la ligne 337 ~ 338, nous faisons les étapes 1 et num 1 du lot pour la configuration de test. Ensuite, pour les données de test, nous allons mettre des données uniques à chaque fois et prédire la suivante sans contexte (!) Car l'état sera nul pour chaque lot (avec une seule pas de temps).

   Cette mesure est-elle correcte pour les données de test? Est-ce que tous les autres documents de modèle de langue mesurent la perplexité des tests comme prédisant le mot suivant sans contexte?

J'ai exécuté ce code et obtenu un résultat similaire à celui indiqué par le code, ainsi que le document original. Si ce code est faux, ce que j'espère ne pas, avez-vous une idée de la façon de reproduire le résultat papier? Peut-être que je peux faire une demande de traction si je modifie les problèmes.

Answer 1

Re (1), le code est (cell_output, state) = cell(inputs[:, time_step, :], state). Cela affecte l'état pour le pas de temps suivant à l'état de sortie de ce pas de temps. Lorsque vous démarrez un nouveau lot, vous devez le faire indépendamment du calcul que vous avez fait jusqu'à présent (notez la distinction entre le lot, qui sont des exemples complètement différents, et les pas de temps dans la même séquence).

Re (2), la plupart du temps le contexte est utilisé.