Math derrière la fonction Conv2D dans Keras

Question

J'utilise le modèle Conv2D de Keras 2.0. Cependant, je ne peux pas entièrement comprendre ce que la fonction fait mathématiquement. J'essaie de comprendre les mathématiques en utilisant les données générées au hasard et un réseau très simple:

import numpy as np 
import keras 
from keras.layers import Input, Conv2D 
from keras.models import Model 
from keras import backend as K 

# create the model 
inputs = Input(shape=(10,10,1)) # 1 channel, 10x10 image 
outputs = Conv2D(32, (3, 3), activation='relu', name='block1_conv1')(inputs) 
model = Model(outputs=outputs, inputs=inputs) 

# input 
x = np.random.random(100).reshape((10,10)) 

# predicted output for x 
y_pred = model.predict(x.reshape((1,10,10,1))) # y_pred.shape = (1,8,8,32) 

J'ai essayé de calculer, par exemple, la valeur de la première ligne, la première colonne de la première carte de fonction, suite à la démonstration au here.

w = model.layers[1].get_weights()[0] # w.shape = (3,3,1,32) 
w0 = w[:,:,0,0] 
b = model.layers[1].get_weights()[1] # b.shape = (32,) 
b0 = b[0] # b0 = 0 

y_pred_000 = np.sum(x[0:3,0:3] * w0) + b0 

Mais relu(y_pred_000) n'est pas égal à y_pred[0][0][0][0]. Est-ce que quelqu'un pourrait indiquer ce qui ne va pas avec ma compréhension? Je vous remercie.

Answer 1

C'est facile et cela vient de Theano dim ordre. Le résultat de l'application du filtre est stocké dans une dimension appelée channel. Dans le cas de TensorFlow c'est la dernière dimension et c'est pourquoi les résultats sont bons. En cas de Theano il est deuxième dimension (résultat de convolution a une forme (cases, channels, width, height) ainsi afin de résoudre votre problème, vous devez changer de ligne de prédiction:

y_pred = model.predict(x.reshape((1,1,10,10))) 

vous devez également modifier la façon dont vous obtenez les poids comme poids dans Theano a une forme (output_channels, input_channels, width, height) vous devez changer le getter de poids:

w = model.layers[1].get_weights()[0] # w.shape = (32,1,3,3) 
w0 = w[0,0,:,:]