Deux méthodes différentes pour calculer l'ASC de l'entraînement sur une forêt aléatoire me donnent des résultats différents?

Question

J'ai utilisé deux méthodes pour calculer l'AUC de l'entraînement réglé sur le randomForest mais j'ai des résultats très différents. Les deux voies sont les suivantes:

rfmodel <- randomForest(y~., data=train, importance=TRUE, ntree=1000) 

Way 1 de calcul AUC du jeu de train:

`rf_p_train <- predict(rfmodel, type="prob",newdata = train)[,'yes'] 
rf_pr_train <- prediction(rf_p_train, train$y) 
r_auc_train[i] <- performance(rf_pr_train, measure = "auc")@y.values[[1]] ` 

Way 2 de calcul AUC du jeu de train:
rf_p_train <- as.vector(rfmodel$votes[,2]) rf_pr_train <- prediction(rf_p_train, train$y) r_auc_train[i] <- performance(rf_pr_train, measure = "auc")@y.values[[1]]

Way 1 me donne AUC autour de 1 mais la voie 2 me donne AUC autour de 0,65. Je me demande pourquoi ces deux résultats diffèrent tellement. Quelqu'un pourrait-il m'aider avec ça? J'apprécie beaucoup. Pour les données, je suis désolé que je ne suis pas autorisé à le partager ici. C'est la première fois que je pose une question ici. S'il vous plaît pardonnez-moi s'il y a quelque chose de flou. Merci beaucoup!

Answer 1

Je ne suis pas sûr des données que vous utilisez. Il est préférable que vous fournissiez un exemple reproductible mais je pense que j'ai été capable d'en assembler un ensemble

library(randomForest) 
#install.packages("ModelMetrics") 
library(ModelMetrics) 

# prep training to binary outcome 
train <- iris[iris$Species %in% c('virginica', 'versicolor'),] 
train$Species <- droplevels(train$Species) 

# build model 
rfmodel <- randomForest(Species~., data=train, importance=TRUE, ntree=2) 

# generate predictions 
preds <- predict(rfmodel, type="prob",newdata = train)[,2] 

# Calculate AUC 
auc(train$Species, preds) 

# Calculate LogLoss 
logLoss(train$Species, preds)