Si j'ai une matrice de confusion basée sur un ensemble d'échantillons, comment puis-je déterminer la puissance statistique (marge/intervalle de confiance) de mes métriques de rappel/précision/etc.? Je sais comment faire une analyse de puissance statistique pour la probabilité de conversion elle-même mais comment faire pour le rappel/précision?Intervalle de confiance/marge de rappel ou de précision
J'ai trouvé la réponse à cette question. C'est une équation légèrement modifiée du calcul de l'intervalle de confiance standard de p +/- Z_score_at_alpha * std_error. La seule différence est que p (essentiellement votre probabilité de rappel) est calculée avec un décalage -> adjusted_recall = TP + 2/(TP + FN + 4).
L'idée générale est que l'équation d'intervalle de confiance standard ne fonctionne pas lorsque p est à 0 ou 1. Cette équation fournit un ajustement qui lui permet de fonctionner.
En outre, l'erreur std est maintenant sqrt (adjust_recall (1-adjusted_recall)/(N + 4)). Ceci est connu comme l'intervalle score wilson - https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval#Wilson_score_interval
http://www.stat.ucdavis.edu/~kwwong/STA13-SS1-12/Statistics_13_files/lecture05.pdf