Pourquoi RNN a besoin de deux vecteurs de biais?

Question

En pytorch RNN implementation, il existe deux biais, b_ih et b_hh. Pourquoi est-ce? Est-ce différent d'utiliser un biais? Si oui, comment? Cela affectera-t-il les performances ou l'efficacité?

Answer 1

Le formulaire dans Pytorch Document dans RNN est auto-expliqué. C'est b_ih et b_hh dans l'équation.

Vous pouvez penser que b_ih est polarisation pour entrée (quelle paire avec w_ih, poids pour l'entrée) et est b_hh polarisation pour caché (pair avec w_hh, poids pour caché)