expliquer l'algorithme de rétropropagation codes d'évêque

Question

J'ai récemment terminé le cours d'apprentissage machine du professeur Ng sur Coursera, mais j'ai quelques problèmes avec la compréhension de l'algorithme de rétropropagation. J'essaie donc de lire les codes de Bishop pour la rétropropagation en utilisant la fonction sigmoïde. J'ai cherché et trouvé des codes propres qui essayent d'expliquer ce que fait la rétropropagation, mais qui ont encore du mal à comprendre les codes

quelqu'un peut-il m'expliquer ce que fait réellement la rétropropagation? et aussi expliquer les codes pour moi?

here est le code que j'ai trouvé dans le github et je l'ai mentionné plus haut

Answer 1

Vous avez une erreur du réseau. Et la première étape de la rétropropagation consiste à calculer une partie de la culpabilité pour chaque neurone dans le réseau. Votre but est de décrire une erreur comme dépendance des poids (paramètre que vous pouvez changer). L'équation backprop correspond donc à une erreur de dérivation partielle/poids.

Première étape: signal d'erreur = (résultat souhaité - sortie du neurone de sortie) x dérivationactivation (x) où x est l'entrée du neurone de sortie. C'est une partie de la culpabilité pour le neurone de sortie.

L'étape suivante consiste à calculer une partie de la culpabilité pour les unités cachées. La première partie de cette étape est la somme des signaux d'erreur des poids x de la couche suivante qui connectent l'unité cachée à l'unité de la couche suivante. Et le repos est dérivation partielle de la fonction d'activation. signal d'erreur = somme (nextlayererror x weight) x derivationactivation (x).

L'étape finale est l'adaptation des poids.

wij = errorsignal_i x learning_rate x output_of_neuron_j

Ma mise en œuvre de BP dans Matlab NN