Valeur décroissante de poids présentant les pires performances

Question

Je travaille sur la classification binaire. J'ai créé mon réseau comme: CONV1, Relu1, Pool1 - CONV2, Relu2, Pool2 - Conv3, Relu3, Pool3 - Conv4, Relu4 - Conv5 Relu5 Dropot 0,5, FC, Dropout 0,5 - SoftmaxlossLayer

Toutes les couches conv 3x3 . Le poids par défaut est 0,0005. Et je reçois ce résultat. précision de la formation: 98% Test Précision: 88%

Le même réseau est ensuite utilisé avec Weightdecay 0,005

Toute personne, S'il vous plaît aidez-moi à partager pourquoi il montre comme ça en changeant la valeur de la décroissance du poids?

Answer 1

carie poids pénalisant la complexité du modèle, il est donc utilisé pour contrôler la variance du modèle par rapport à son parti pris. Il est clair que si vous pénalisez trop la complexité, le modèle n'apprendra rien d'utile, car ce sera trop simple.

Pour d'autres méthodes que vous pouvez voir notes for Hinton's Coursera course de régularisant les réseaux de neurones.