PReLU Activation Règle de mise à jour de la fonction

Question

Je viens de terminer la lecture du papier Delving Deep into Rectifiers. Cet article propose une nouvelle fonction d'activation appelée PReLU. Peut-être que c'est évident, parce que le journal ne l'a pas mentionné, mais je veux savoir quand le paramètre 'a' de PReLU est-il mis à jour? Est-il mis à jour avant la mise à jour du poids ou après la mise à jour du poids? ou est-il simultanément mis à jour avec le poids?

Answer 1

Les poids sont tous mis à jour séquentiellement lorsque le signal d'erreur se propage à travers chaque couche du réseau. Ainsi, le biais et le paramètre 'a' se mettent à jour avant de passer le signal à la couche suivante et donc avant la mise à jour du poids en dessous d'eux dans le réseau.