couche d'agrégation dans LSTMs bidirectionnelle

Question

J'utilise LSTM bidirectionnelle dans le nombre à un paramètre (tâche d'analyse de sentiment) avec tflearn. Je veux comprendre comment tflearn agréger des représentations à partir des couches LSTM avant et arrière avant de l'envoyer à la couche softmax pour obtenir une sortie probabiliste? Par exemple, dans le diagramme suivant, comment les couches de concat et d'agrégat sont-elles généralement implémentées?

Y at-il la documentation disponible à ce sujet?

Merci!

Answer 1

Lors de l'utilisation de Bidirectional RNN tflearn, la sortie est chaînés, comme vous l'avez indiqué sur la figure ci-dessus. Ainsi, chacune des sorties sera deux fois celle de la taille d'incorporation en entrée. Le réglage par défaut ne retourne la dernière sortie de séquence, donc si vous voulez utiliser la séquence, vous devez définir return_seq=True puis passer la séquence à la couche aggregration comme Merge.