Réglage des paramètres multiples pour plusieurs sorties en utilisant mxnet dans R

Question

J'essaie actuellement de construire des MLP avec plusieurs sorties.

Pour les MLP à sortie unique, j'utilise normalement l'implémentation H2o Packge qui a une fonction de recherche de grille aléatoire. Puisque H2o ne supporte pas plusieurs sorties, je suis passé au paquet mxnet. Maintenant, j'essaie de trouver un moyen de régler mes paramètres pour mon MLP. Je ne trouve aucun paquet à l'intérieur de R qui fournit le paramétrage pour plusieurs sorties et me permet d'utiliser mxnet.

Connaissez-vous des packages ou avez-vous des fonctions implémentées automatiquement pour une recherche de paramètre hyper? Merci!

Modifier en cause de commentaire:

Avec plusieurs sorties, je veux dire des variables de réponse multiples (problème MIMO). Par exemple, une de mes tâches recherchées est la prédiction d'une distribution RRSB. Une distribution RRSB a deux paramètres: n, x. J'espère que cela éclaircira votre question

Answer 1

Avez-vous pensé à Caret? Je pense que cela pourrait le faire car il fournit les deux hyper-paramètres d'accord https://topepo.github.io/caret/model-training-and-tuning.html et de soutenir certains modèles mxnet, mais pas sûr si un MLP avec plusieurs sorties est pris en charge.

Personnellement, j'utilise une approche de recherche par grille ou aléatoire simplement en échantillonnant les paramètres requis à partir de la liste des valeurs possibles associées à chacun. Cela implique de faire une boucle sur différents choix d'hyper-paramètres et de conserver un journal de chaque performance de configuration.

Answer 2

This tutorial explique comment vous pouvez construire un Perceptron Multi-Layer en utilisant MXNet, dans ce cas particulier qui a une couche Softmax comme couche finale pour classer l'entrée comme l'une des 10 classes différentes (problème MNIST). Dans votre cas, je crois que ce que vous voulez est un MLP avec une couche finale entièrement connectée de 2 unités, une pour chaque variable que vous essayez de prédire. Look here pour un exemple de régression linéaire. Votre fonction de perte devrait être adaptée à votre problème spécifique.