Logsoftmax stabilité

Question

Je sais comment rendre softmax stable en ajoutant à l'élément -max _i x_i. Cela évite les débordements et les débordements. Maintenant, prendre un journal de ceci peut provoquer un débordement. log softmax (x) peut évaluer à zéro, conduisant à -infinity.

Je ne suis pas sûr de savoir comment résoudre ce problème. Je sais que c'est un problème commun. J'ai lu plusieurs réponses à ce sujet, que je n'ai pas comprises. Mais je suis toujours confus sur la façon de résoudre ce problème. PS: Si vous fournissez un exemple simple, ce serait génial.

Answer 1

logsoftmax = logits - log(reduce_sum(exp(logits), dim)) 

se réfèrent: https://www.tensorflow.org/api_docs/python/tf/nn/log_softmax