equivalence de la fonction categorical_crossentropy de theano dans tensorflow

Question

Quelle pourrait être la fonction équivalente de la fonction theano suivante dans tensorflow?

Theano.tensor.nnet.categorical_crossentropy(o, y) 

Answer 1

2D tenseurs avec des distributions de probabilités dans la 2ème dimension:

def crossentropy(p_approx, p_true): 
    return -tf.reduce_sum(tf.multiply(p_true, tf.log(p_approx)), 1) 

Answer 2

Je pense que vous voulez utiliser softmax cross-entropy loss de tensorflow. Souvenez-vous que l'entrée de cette couche est un logit non scalé, c'est-à-dire que vous ne pouvez pas envoyer de sortie softmax à cette couche. Cela donnera de mauvais résultats.

Une autre raison importante d'utiliser cette perte au lieu d'une combinaison de softmax + entropie croisée catégorique est que la perte de softmax est plus stable. Voir this perte dans Caffe. Pour plus d'informations sur la stabilité, voir this.