Comment appliquer RNN à une tâche NLP de séquence à séquence?

Question

Je suis assez confus au sujet de RNN séquence-à-séquence sur les tâches PNL. Auparavant, j'ai implémenté quelques modèles neuronaux de tâches de classification. Dans ces tâches, les modèles prennent en compte les plongements de mots et utilisent une couche softmax à la fin des réseaux pour effectuer la classification. Mais comment les modèles neuraux font-ils des tâches seq2seq? Si l'entrée est l'incorporation de mots, alors quelle est la sortie du modèle neuronal? Les examens de ces tâches comprennent la réponse aux questions, les systèmes de dialogue et la traduction automatique.

Answer 1

Vous pouvez utiliser une architecture codeur-décodeur . La partie codeur code votre entrée dans un vecteur de longueur fixe, puis le décodeur décode ce vecteur dans votre séquence de sortie, quelle qu'elle soit. Les couches d'encodage et de décodage peuvent être apprises conjointement contre votre fonction objectif (qui peut encore impliquer un soft-max). Découvrez this paper qui montre comment ce modèle peut être utilisé dans la traduction automatique neurale. Le décodeur émet ici les mots un par un afin de générer une traduction correcte.