Sortie de tf.softmax_cross_entroy_with_logits non normalisée?

Question

J'ai implémenté un simple réseau cnn pour la classification d'images (classification binaire). J'utilise tensorflow en Python. J'utilise tf.softmax_cross_entropy_with logits comme une fonction de coût. Je nourris la fonction de coût avec des logits non normalisés de la couche de sortie de mon modèle. La fonction devrait-elle produire des probabilités normalisées, ou ai-je tort?

Lors de la formation de mon modèle, j'imprime le coût de chaque exemple. Si le modèle prédit correctement la sortie, le coût est égal à 0,0, sinon le coût est très grand, valeur non normalisée). Alors que la fonction 'softmaxes' entrée avant de calculer l'entropie croisée, pourquoi la sortie est non normalisée?

Answer 1

Vous confondez l'entropie croisée (votre fonction de perte) avec softmax (la sortie "virtuelle" de votre réseau - voir ci-dessous). Softmax est normalisé, mais l'entropie croisée ne l'est pas - il peut prendre des valeurs arbitrairement élevées pour pénaliser les mauvaises prédictions. Lorsque vous utilisez une sortie réseau non normalisée en combinaison avec tf.softmax_cross_entropy_with logits, vous n'observez pas la sortie softmax: elle est traitée dans la fonction de coût et reste virtuelle. Pour voir le softmax, vous pouvez le calculer explicitement en utilisant tf.nn.softmax sur la sortie non normalisée de votre réseau.