LSTM pour la traduction de séquences de caractères vectoriels en caractères

Question

Je cherche à construire un modèle séquence-séquence qui prenne un vecteur de 1 0 et de 0 en 2048 (par exemple [1,0,1,0,0,1 , 0,0,0,1, ..., 1]) comme mon entrée et la traduisant vers ma sortie connue de (une longueur variable) 1-20 caractères longs (ex: GBNMIRN, ILCEQZG, ou FPSRABBRF).

Mon objectif est de créer un modèle capable de prendre en charge un nouveau vecteur de 1 0 et de 0 et de prédire la séquence de sortie. J'ai regardé quelques dépôts github comme this et this.

mais je ne sais pas comment l'implémenter avec mon problème. Y a-t-il des projets qui ont fait quelque chose de similaire à ceci/comment pourrais-je l'implémenter avec les modèles seq2seq ou les LSTM actuellement disponibles? (implémentations de python)

J'utilise la bibliothèque keras en python.

Answer 1

Votre entrée est étrange car il s'agit d'un code binaire. Je ne sais pas si le modèle fonctionnera bien. Tout d'abord, vous devez ajouter des marques de début et de fin pour vos entrées et sorties, ce qui indique les limites. Puis concevoir un module régional de chaque étape de temps, y compris comment utiliser l'état caché. Vous pouvez essayer les réseaux GRU/LSTM simples comme suit.

Pour plus de détails, vous pouvez essayer Encoder

et décodeur

En outre, vous COU Jetez un oeil à Attention mécanisme dans le papier Neural Machine Translation by Jointly Learning to Align and Translate. Et la structure est la suivante.

Pour plus de détails

Bien que vous utilisez Keras, je pense qu'il sera utile de lire les codes PyTorch comme il est simple et facile à comprendre. Le tutoriel donné en PyTorch tutorial