Meilleure approche de réseau neuronal pour prédire les mots manquants

Question

Je suis nouveau dans l'apprentissage profond et l'utilisation de TFlearn. Ma question est de savoir quel réseau de neurones est le meilleur pour prédire le mot manquant à partir des données. D'abord, je veux former mon réseau de neurones avec environ 500 données d'échantillons, puis prédire. Actuellement, j'utilise feed forward avec l'activation de softmax mais je ne suis pas sûr de la meilleure approche pour cette tâche temps que j'ai besoin d'utiliser Feed forward ou réseau neuronal récurrent. Je veux aussi savoir comment atteindre un bon niveau de prédiction. Ai-je besoin d'ajouter des couches, du poids et des biais supplémentaires? Si oui, s'il vous plaît, guidez moi.

Cordialement

Answer 1

Vous devriez essayer LSTM pour prédire les mots manquants. Comme ils apprennent les dépendances entre les mots et les probabilités conditionnelles des mots dans une séquence, ils peuvent vous aider à générer des mots manquants. Vous devriez regarder tflearn Sequence Generator Model. Il y a un tensor flow tutorial qui peut vous aider.