Accélération des calculs mathématiques en Java

Question

j'ai un réseau de neurones écrit en Java qui utilise une fonction de transfert sigmoïde défini comme suit:

private static double sigmoid(double x) 
{ 
    return 1/(1 + Math.exp(-x)); 
} 

et cela est appelé beaucoup fois au cours de la formation et de calcul en utilisant le réseau. Y a-t-il un moyen d'accélérer cela? Ce n'est pas que c'est lent, c'est juste que c'est beaucoup utilisé, donc une petite optimisation ici serait un gros gain global.

Answer 1

Pour les réseaux de neurones, vous n'avez pas besoin de la valeur exacte de la fonction sigmoïde. Vous pouvez donc précalculer 100 valeurs et réutiliser la valeur la plus proche de votre entrée, ou mieux (comme indiqué dans un commentaire) faire une interpolation à partir des valeurs voisines.

Comment vous pouvez faire ceci est décrit dans ce article (lien volé du answer of s-lott).

C'est la fonction sigmoïde:

Comme vous pouvez le voir, seules les valeurs de -10 < x < 10 sont intéressants du tout. Et, comme un autre commentaire l'a indiqué, la fonction est symétrique. Vous devez seulement stocker la moitié des valeurs.

---

Edit: Je suis désolé que j'ai montré le mauvais graphique ici. Je l'ai corrigé.

Answer 2

D'un point de vue mathématique, je ne vois aucune possibilité de l'optimiser.

Answer 3

C'est une fonction assez fluide, donc un schéma de recherche et d'interpolation est susceptible d'être plus que suffisant.

Lorsque je trace la fonction sur une plage de -10 <= x <= 10, j'obtiens une précision de cinq positions aux extrêmes. Est-ce suffisant pour votre application?

Answer 4

Si vous avez beaucoup de noeuds où la valeur de x est en dehors de -10 .. + 10 boîte, vous pouvez simplement omettre de calculer ces valeurs à tous, par exemple, comme si ..

if(x < -10) 
    y = 0; 
else if(x > 10) 
    y = 1; 
else 
    y = 1/(1 + Math.exp(-x)); 
return y; 

Bien sûr, cela entraîne la surcharge des contrôles conditionnels pour CHAQUE calcul, donc cela ne vaut que si vous avez beaucoup de nœuds saturés. Une autre chose qui vaut la peine d'être mentionnée est que, si vous utilisez la rétropropagation, et que vous devez gérer la pente de la fonction, il est préférable de la calculer en morceaux plutôt que «tel qu'écrit».

Je ne me souviens pas de la pente pour l'instant, mais voici ce dont je parle en utilisant un sigmoïde bipolaire comme exemple. Plutôt que de calculer cette façon

y = (1 - exp(-x))/(1 + exp(-x)); 

qui frappe exp() deux fois, vous pouvez mettre en cache les calculs coûteux dans les variables temporaires, comme si

temp = exp(-x); 
y = (1 - temp)/(1 + temp); 

Il y a beaucoup d'endroits pour mettre ce genre de chose à utiliser dans les moustiquaires BP.