architecture du réseau de neurones

Question

je lisais un document et les auteurs ont décrit leur réseau comme suit:.

« Pour former le réseau profond correspondant, un réseau entièrement connecté avec une couche cachée est utilisé Le réseau a neuf nœuds d'entrée binaires La couche cachée contient un nœud sigmoïde, et dans la couche de sortie il y a une fonction produit interne . Ainsi, le réseau a 10 variables. "

Le réseau est utilisée pour prédire un nombre continu (y). Mon problème est, je ne comprends pas la structure du réseau après le nœud sigmoïde. Que fait la couche de sortie? À quoi sert le produit intérieur?

Answer 1

Habituellement, les fonctions de pré-activation par neurone sont une combinaison d'un produit interne (produit scalaire ou dans la multiplication vecteur-vecteur) et une addition d'introduire un biais. Un seul neurone peut être décrit comme

z = b + w1*x1 + x2*x2 + ... + xn*xn 
    = b + w'*x 
h = activation(z) 

où b est un terme additif (le biais du neurone) et chaque h est la sortie d'une couche et correspond à l'entrée de la couche suivante. Dans le cas de la "couche de sortie", c'est celle y = h. Une couche peut également être composée de plusieurs neurones ou, comme dans votre exemple, de neurones uniques.

Dans le cas décrit, il semble que pas de parti pris est utilisé. Je comprends comme suit:

Pour chaque neurone d'entrée x1 à x9, un seul poids est utilisé, rien d'extraordinaire ici. Comme il y a neuf entrées, cela fait 9 poids, ce qui entraîne quelque chose comme:

hidden_out = sigmoid(w1*x1 + w2*x2 + ... + w9*x9) 

Pour connecter la couche cachée à la sortie, la règle applicable est: est pondérée de l'entrée de la couche de sortie, puis résumé sur tous les contributions. Comme il n'y a qu'une seule entrée, un seul poids doit être « résumé », de sorte que

output = w10*hidden_out 

Gardez à l'esprit que la fonction sigmoïde son entrée sur écrabouille une plage de sortie de 0..1, donc multiplier avec un poids le réajuste à la plage de sortie requise.