Le réseau de neurones multicouche ne va pas prédire les valeurs négatives

Question

J'ai implémenté un perceptron multicouche pour prédire le sinus des vecteurs d'entrée. Les vecteurs sont constitués de quatre -1,0,1 choisis au hasard et d'un biais fixé à 1. Le réseau devrait prédire le sinus de la somme des vecteurs.

par exemple Input = < 0,1, -1,0,1> Output = Sin (0 + 1 + (- 1) + 0 + 1)

Le problème que je rencontre est que le réseau Ne jamais prédire une valeur négative et beaucoup de valeurs de péché des vecteurs sont négatives. Il prédit parfaitement toutes les sorties positives ou nulles. Je présume qu'il y a un problème avec la mise à jour des poids, qui sont mis à jour après chaque époque. Quelqu'un at-il déjà rencontré ce problème avec NN? Toute aide serait géniale!!

note: Le réseau a 5 entrées, 6 unités cachées dans 1 couche cachée et 1 sortie. J'utilise une fonction sigmoïde sur les activations cachées et les couches de sortie, et j'ai essayé des tonnes de taux d'apprentissage (actuellement 0,1);

Answer 1

Etre longtemps depuis que j'ai regardé dans les perceptrons multicouches prend donc cela avec un grain de sel.

Je redimensionner votre domaine de problème au domaine [0,1] au lieu de [-1,1]. Si vous jetez un coup d'oeil au graphique de la fonction logistique:

Il génère des valeurs entre [0,1]. Je ne m'attends pas à ce qu'il produise des résultats négatifs. Je peux me tromper, dur.

EDIT:

Vous pouvez effectivement étendre la fonction logistique à votre domaine de problème. Utilisez les paramètres A et K generalized logistic curve pour définir les limites de votre domaine.

Une autre option est la tangente hyperbolique, qui va de [-1, + 1] et n'a pas de constantes à mettre en place.

Answer 2

Il existe différents types de fonctions d'activation, dont beaucoup sont conçues pour afficher une valeur comprise entre 0 et 1. Si vous utilisez une fonction qui ne sort qu'entre 0 et 1, essayez de l'ajuster pour qu'elle sorte entre 1 et -1. Si vous utilisiez FANN je vous dirais d'utiliser la fonction d'activation FANN_SIGMOID_SYMMETRIC.