critères d'information pour les matrices de confusion

Question

On peut mesurer la qualité de l'ajustement d'un modèle statistique en utilisant Akaike Information Criterion (AIC), ce qui explique la qualité de l'ajustement et le nombre de paramètres utilisés pour la création du modèle. L'AIC implique le calcul de la valeur maximisée de la fonction de vraisemblance pour ce modèle (L). Comment peut-on calculer L, étant donné les résultats de prédiction d'un modèle de classification, représenté comme une matrice de confusion?

Answer 1

Information-Based Evaluation Criterion for Classifier's Performance par Kononenko et Bratko est exactement ce que je cherchais:

précision de la classification est généralement utilisé comme une mesure de la performance de classification. Cette mesure est cependant connue pour avoir plusieurs défauts. Un critère d'évaluation équitable devrait exclure l'influence des probabilités de classe qui peuvent permettre à un classificateur complètement non informé d'atteindre trivialement une grande précision de classification. Dans cet article, une méthode d'évaluation du score d'information des réponses d'un classificateur est proposée. Elle exclut l'influence des probabilités a priori, traite de divers types de réponses imparfaites ou probabilistes et peut également être utilisée pour comparer les performances dans différents domaines.

Answer 2

Il n'est pas possible de calculer l'AIC à partir d'une matrice de confusion car il ne contient aucune information sur la probabilité. Selon le modèle que vous utilisez, il peut être possible de calculer la probabilité ou la quasi-vraisemblance et donc l'AIC ou le QIC.

Quel est le problème de classification sur lequel vous travaillez et quel est votre modèle?

Dans un contexte de classification, d'autres mesures sont souvent utilisées pour effectuer des tests du GoF. Je vous recommande de lire The Elements of Statistical Learning par Hastie, Tibshirani et Friedman pour avoir un bon aperçu de ce genre de méthodologie.

Espérons que cela aide.