Y a-t-il des plans pour mettre en œuvre un ReLU qui fuit dans le module Deep Learning de H2O? Je suis un débutant dans les réseaux neuronaux, mais dans la quantité limitée de modélisation et de paramétrage, j'ai trouvé que les ReLUs généralisaient mieux, et je me demandais si une meilleure performance pouvait être obtenue en utilisant des ReLUs fuites pour éviter le problème ReLU mourant.Y a-t-il des plans pour implanter un ReLU qui fuit dans H2O?
Ce n'est pas une réponse directe à votre question car la feuille de route du produit n'est pas vraiment quelque chose que nous pouvons commenter. Cependant, si vous avez peur de mourir problème ReLU dans H2O, pourquoi n'utilisez-vous pas ExpRectifier, ce qui signifie unité linéaire exponentielle (RLU), qui ne souffre pas de problème ReLU en train de mourir. En fait, this paper prouve que ELU surpasse toutes les variantes ReLU. Le seul inconvénient est qu'il est plus lourd de calcul car il implique un exposant dans le calcul.
Merci pour le pointeur concernant l'utilisation d'ExpRectifier. Dans l'interface utilisateur Flow, je ne vois pas d'option pour ExpRectifier. Je ne vois que Linear, Tanh et MaxOut, avec leurs homologues décrocheurs. J'utilise la version 3.14.0.2 installée via R. –
Ce n'est pas une question de codage et n'appartient pas à Stack Overflow. Si vous avez des questions sur la feuille de route H2O, vous pouvez envoyer un e-mail à l'adresse https://groups.google.com/forum/#!forum/h2ostream –
Merci d'avoir signalé le groupe google –