Ajout de plusieurs calques à tensorflow Le tutoriel MNIST réduit la précision

Question

Novice à l'apprentissage en profondeur. Avec le tutoriel MNIST_SOFTMAX.py de gogoel tensorflow (https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py), j'ai ajouté deux nouvelles couches juste pour voir ce qui se passe.

x = tf.placeholder(tf.float32, [None, 784]) 
W = tf.Variable(tf.zeros([784, 10])) 
b = tf.Variable(tf.zeros([10])) 
y = tf.matmul(x, W) + b 

code modifié ci-dessus dans

x = tf.placeholder(tf.float32, [None, 784]) 
W1 = tf.Variable(tf.zeros([784, 256])) 
W2 = tf.Variable(tf.zeros([256, 256])) 
W3 = tf.Variable(tf.zeros([256, 10])) 

B1 = tf.Variable(tf.zeros([256])) 
B2 = tf.Variable(tf.zeros([256])) 
B3 = tf.Variable(tf.zeros([10])) 

Y1 = tf.matmul(x, W1) + B1 
Y2 = tf.matmul(Y1, W2) + B2 
Y3 = tf.matmul(Y2, W3) + B3 
y = Y3 

il laisse tomber la précision 0,9188 à 0,1028. puis-je avoir une idée de la raison pour laquelle ça tombe?

Answer 1

Je pense que vous avez besoin à la fois symmetry breaking in the weights et une activation non linéaire entre les couches:

W = tf.Variable(tf.random_normal([784, 256], stddev=0.1)) 
W1 = tf.Variable(tf.random_normal([256, 256], stddev=0.1)) 
W2 = tf.Variable(tf.random_normal([256, 10], stddev=0.1)) 
b = tf.Variable(tf.zeros([256])) 
b1 = tf.Variable(tf.zeros([256])) 
b2 = tf.Variable(tf.zeros([10])) 

y = tf.matmul(x, W) + b 
y = tf.nn.relu(y) 
y = tf.matmul(y, W1) + b1 
y = tf.nn.relu(y) 
y = tf.matmul(y, W2) + b2 

qui obtient une précision de 0,9653.

Answer 2

Vous devez ajouter une fonction d'activation non linéaire entre vos couches. Essayez ReLU.

Answer 3

Vous souffrez du même problème que la réponse this post. Essentiellement, vos premiers calques cachés apprennent beaucoup plus lentement que la dernière. Normalement, votre réseau devrait apprendre les poids corrects. Ici, cependant, très probablement les poids dans la première couche changent très peu et l'erreur se propage aux couches suivantes. Il est si grand que les couches suivantes ne peuvent probablement pas le corriger. Vérifiez les poids.