LSTM état initial pour chaque élément du lot en flux tensor

Question

J'utilise tf.nn.dynamic_rnn pour faire tourner un LSTM en tensorflow. J'ai un tenseur de N vecteurs d'état initial et un tenseur de M = N * n entrées. Chaque série est composée de n éléments d'entrée, et je veux évaluer l'ensemble i-ième vecteurs d'entrée avec le vecteur d'état initial i-ème, comme indiqué ci-dessous:

inputs[0:n], initial_states[0] 
inputs[n:2*n], initial_states[1] 
... 

Est-il possible de le faire avec appel unique tf.nn.dynamic_rnn et les tenseurs ci-dessus directement, ou dois-je recourir à une boucle pour chaque vecteur d'état initial et ses entrées correspondantes (résultant en len(initial_states) appels à tf.nn.dynamic_rnn)?

Answer 1

(ajouter un peu de détails des commentaires sur la question)

Ce type de bien est batching pris en charge, et est généralement nécessaire pour obtenir de bonnes performances. Votre initial_state aura une dimension de lot sur N, et le RNN fonctionnera pour n étapes sur ces lots. Vous avez juste besoin de remodeler les entrées pour être [N, n, ...] (avec time_major=False, la valeur par défaut).

Cela devient plus compliqué lorsque vous avez des entrées de longueur variable qui doivent être groupées ensemble. Quelque chose comme SequenceQueueingStateSaver peut aider là.