Surappui et courbes ROC

Question

Est-il possible de comprendre si un classificateur est sur-monté juste en regardant sa courbe ROC? Je vois que si son AUC est trop élevé (exemple 98%) est susceptible d'être sur-équipé, mais cela peut aussi signifier que le classificateur est vraiment bon. Y a-t-il un moyen de distinguer ces deux cas?

Answer 1

Réponse courte: non, vous ne pouvez pas. Réponse longue: pour estimer le surajustement, vous devez évaluer votre modèle sur un ensemble de données indépendant. Ou utilisez la validation croisée ou quelque chose de similaire.