Avoir réseau de neurones avec beaucoup d'entrées cause de mes problèmes de réseau commerétropropagation réseau de neurones, trop de neurones dans la couche causant la sortie est trop élevé
réseau de neurones est bloqué et l'alimentation calcul avant donne toujours sortie comme 1.0 à cause de la somme de sortie étant trop grande et tout en faisant backpropagation, la somme des gradients sera trop élevée ce qui provoque la vitesse d'apprentissage trop dramatique.
Le réseau neuronal utilise le tanh comme fonction active dans toutes les couches. Donner beaucoup de pensée, je suis venu avec des solutions suivantes:
- Initalizing valeurs de poids aléatoire plus petites (WeightRandom/PreviousLayerNeuronCount)
ou
- Après calculer la somme des sorties ou des gradients, diviser la somme par le nombre de neurones dans la couche précédente pour la somme de sortie et le nombre de neurones dans la couche suivante pour la somme des gradients, puis passer la somme dans la fonction activation/dérivée.
Je ne me sens pas à l'aise avec les solutions que j'ai imaginées.
La solution 1. ne résout pas entièrement le problème. La possibilité d'obtenir un gradient ou une somme de sortie trop élevée est toujours là. La solution 2 semble résoudre le problème mais je crains que cela change complètement le comportement du réseau de telle sorte qu'il ne puisse plus résoudre certains problèmes. Que voulez-vous me suggérer dans cette situation, en gardant à l'esprit que la réduction du nombre de neurones dans les couches n'est pas une option?
Merci d'avance!
Regardez ici: https://msdn.microsoft.com/magazine/jj658979.aspx, vous ne devriez pas avoir ce problème –