mxnet: plusieurs couches de suppression avec masque partagé

Question

Je souhaite reproduire un réseau de neurones récurrent dans lequel chaque couche temporelle est suivie d'une couche de suppression, et ces couches de sortie partagent leurs masques. Cette structure a été décrite, entre autres, A Theoretically Grounded Application of Dropout in Recurrent Neural Networks. Dans la mesure où je comprends le code, les modèles de réseau récurrents implémentés dans MXNet n'ont aucune couche de suppression appliquée entre les couches de temps; le paramètre dropout des fonctions telles que lstm (R API, Python API) définit réellement la suppression de l'entrée. Par conséquent, je devrais réimplémenter ces fonctions à partir de zéro. Cependant, la couche Dropout ne semble pas prendre une variable définissant le masque en tant que paramètre.

Est-il possible de créer plusieurs couches de suppression à différents endroits du graphique de calcul, tout en partageant leurs masques?

Answer 1

Selon la discussion here, il n'est pas possible de spécifier le masque et l'utilisation de la graine aléatoire n'a pas d'impact sur le générateur de nombres aléatoires d'abandon.