Activationsfunction - Réseau de neurones

Question

Je travaille avec un réseau neuronal dans mon temps libre. J'ai déjà développé une opération XOR facile avec un réseau de neurones. Mais je ne sais pas quand je devrais utiliser le bon activationsfuntion.

Y a-t-il un tour ou est-ce juste une logique mathématique?

Answer 1

Il existe de nombreuses options de fonctions d'activation telles que l'identité, la logistique, tanh, Relu, etc. Le choix de la fonction d'activation peut être basé sur le calcul de gradient (rétropropagation). Par exemple. La fonction logistique est toujours différentiable mais elle sature quand l'entrée a une valeur importante et ralentit donc la vitesse d'optimisation. Dans ce cas, Relu est préféré à la logistique. Ci-dessus est seulement un exemple simple pour le choix de la fonction d'activation. Cela dépend vraiment de la situation réelle. En outre, je ne pense pas que les fonctions d'activation utilisées dans le réseau de neurones XOR sont représentatives dans des applications plus complexes.

Answer 2

Vous pouvez vous résoudre le problème avec les neurones sigmoïdes dans ce cas, la fonction d'activation est:

https://chart.googleapis.com/chart?cht=tx&chl=%5Csigma%20%5Cleft%20(%20z%20%5Cright%20)%20%3D%20%5Cfrac%7B1%7D%7B1%2Be%5E%7B-z%7D%7D

Où:

https://chart.googleapis.com/chart?cht=tx&chl=z%20%3D%20%5Csum_%7Bj%7D%20(w_%7Bj%7Dx_%7Bj%7D%2Bb)

Dans cette formule w il y a les poids pour chaque entrée, b est le biais et x il y a les entrées, enfin vous pouvez utiliser la rétro-propagation pour calculer la fonction de coût.