Dans la torche, comment puis-je corriger l'intégration pré-entraînée dans le temps d'entraînement?

Question

J'essaie de former un RNN sur des plongées de mots pré-formés. Supposons que ces pré-formés plongement sont conservés dans une matrice E, que je peux utiliser pour initialiser un LookupTable:

lookupTable = nn.LookupTable(n_words, d) 
lookupTable.weight = E 

Comment puis-je forcer le modèle à garder ces incorporations fixes pendant la formation?

Answer 1

Peut-être que deux possibilités:

1. Forcé les poids de cette couche pour rester à 1 à chaque mini-lot itération

2. implémenter votre propre LookupTable en prolongeant la nn.LookupTable et redéfinissent updateOutput de telle sorte que les poids ne sont pas mis à jour.