Dimensions dans le réseau neuronal convolutif

Question

J'essaie de comprendre comment se comportent les dimensions du réseau neuronal convolutif. Dans la figure ci-dessous, l'entrée est une matrice 28 par 28 avec 1 canal. Ensuite, il y a 32 filtres 5-par-5 (avec la foulée 2 en hauteur et en largeur). Donc, je comprends que le résultat est de 14 par 14 par 32. Mais alors dans la couche convolutionnelle suivante, nous avons 64 filtres 5-par-5 (à nouveau avec la foulée 2). Alors pourquoi le résultat est 7-by-7- par 64 et non 7-by-7-by 32 * 64? N'appliquons-nous pas chacun des 64 filtres à chacun des 32 canaux?

Answer 1

Un filtre est la somme de toutes les dimensions de la couche précédente. Cela signifie que le filtre 5x5 résume toutes les 32 dimensions et, en substance, est une somme pondérée de 32 * 5 * 5 valeurs. Cependant, les valeurs de poids sont partagées entre les dimensions. Ensuite, il y a 64 filtres de ce type. Une meilleure explication avec des images peut être trouvée ici: http://cs231n.github.io/convolutional-networks/.

Answer 2

here est une explication claire de la manière dont les tailles des entrées varient en fonction des couches.

Dans l'entrée, les dimensions que vous donnez sont 28 largeur et 28 hauteur et profondeur comme 1. Pour les filtres dans couche 1, la dimension de profondeur du filtre doit être égale à la profondeur de l'entrée. donc la dimension du filtre sera 5x5x1, en appliquant un filtre, la dimension est réduite (à cause des foulées) pour produire une carte d'activation de dimension 14x14x1, donc appliquer 32 de ces filtres vous donnera 32 cartes d'activations. La combinaison de tous ces 14x14x32 est la sortie de la couche 1 et l'entrée de votre deuxième couche. Toujours dans la deuxième couche, vous devez appliquer un filtre de dimension 5 (largeur) x5 (hauteur) x32 (profondeur) sur le calque pour produire une carte d'activation de 14x14x1, empiler toutes les 64 cartes d'activation vous donner la dimension de sortie de la deuxième couche 14x14x64 et ainsi de suite. Oui, vous appliquez réellement sur 64 filtres sur chacun des 32 canaux.