Je voudrais avoir votre avis sur où Dropout devrait être inséré? Doit-il être situé dans le calque entièrement connecté (Dense) ou Couche convolutionnelle? ou les deux.?Où Dropout doit être inséré? Couche entièrement connectée. Couche convolutionnelle. ou les deux.?
Nous vous remercions de vos commentaires à l'avance.
L'abandon est juste une technique de régularisation pour empêcher le surajustement dans le réseau. Il définit le poids d'un nœud à zéro avec une probabilité donnée pendant l'entraînement, réduisant le nombre de poids requis pour l'entraînement à chaque itération. Il peut être appliqué à chaque couche du réseau (qu'elle soit entièrement connectée ou convolutionnelle) ou après les couches sélectionnées. L'abandon des couches est vraiment une décision de conception pour ce qui est la meilleure performance.
Habituellement, l'abandon est placé sur les couches entièrement connectées uniquement parce qu'elles sont celles avec le plus grand nombre de paramètres et donc elles sont susceptibles de co-adapter excessivement elles-mêmes causant un surajustement.
Cependant, comme c'est une technique de régularisation stochastique, vous pouvez vraiment la placer partout. Habituellement, il est placé sur les calques avec un grand nombre de paramètres, mais personne ne vous refuse de l'appliquer à la couche convolutionnelle (qui a un nombre inférieur de paramètres par rapport aux calques fc).
En outre, la probabilité de chute doit être modifiée en fonction de l'impact de la régularisation que vous souhaitez. Une règle de base consiste à définir la probabilité de maintien (probabilité de 1) à 0,5 lorsque la suppression est appliquée aux couches entièrement connectées tout en la définissant sur un nombre supérieur (0,8, 0,9, généralement) lorsqu'elle est appliquée aux couches convolutives. Juste un mot: puisque dans chaque version de «machine à apprentissage», le décrochage machine est implémenté dans sa version «inversée», vous devez réduire votre taux d'apprentissage pour dépasser le «boost» que la probabilité de décrochage donne au taux d'apprentissage. Pour une évaluation plus complète à ce sujet: https://pgaleone.eu/deep-learning/regularization/2017/01/10/anaysis-of-dropout/
Merci beaucoup, j'ai lu le lien que vous avez envoyé. Je vais essayer ce problème. distributions avec les deux couches. – TheWho
Vous pouvez choisir où vous voulez placer votre Dropout. J'utilise habituellement après Convolution, mais vous pouvez également l'utiliser avec la couche FC. Essayez différentes combinaisons afin d'obtenir les meilleurs résultats.
Merci beaucoup – TheWho
Merci beaucoup – TheWho