Prédiction de l'étiquette à la prédiction de score de probabilité/AUC en utilisant scikit-learn SVM

Question

Pour une compétition DS, j'utilisais SVM pour faire une classification binaire. Ici, tdata, vdata ont tous deux 256 caractéristiques. tlabels, vlabels ont tous deux des dimensions n_samples x 1 et leurs valeurs uniques sont 0/1. Maintenant, selon les règles de la compétition, à la place des étiquettes, nous devons soumettre le score de probabilité (entre 0 et 1) et l'AUC sera utilisé pour décider du classement. Je suis assez nouveau pour les SVM et Sklearn. Tout pointeur sur la façon de convertir ce code pour générer des scores de probabilité et AUC, sera d'une grande aide.

code:

classifier=svm.SVC(gamma=g,C=c,kernel='rbf',class_weight='balanced') 
classifier.fit(tdata, tlabels) 
expected = vlabels 
predicted = classifier.predict(vdata) 

print("Classification report for classifier %s:\n%s\n" 
     % (classifier, metrics.classification_report(expected, predicted))) 
cm = metrics.confusion_matrix(expected, predicted) 
accuracy = (cm[0,0]+cm[1,1])*100.0/sum(sum(cm)) 
print("accuracy = "+str(accuracy)) 

Sortie:

Classification report for classifier SVC(C=1.0, cache_size=200, class_weight='balanced', coef0=0.0, 
    decision_function_shape=None, degree=3, gamma=0.00020000000000000001, 
    kernel='rbf', max_iter=-1, probability=False, random_state=None, 
    shrinking=True, tol=0.001, verbose=False): 
      precision recall f1-score support 

     0.0  0.93  0.88  0.90  1881 
     1.0  0.92  0.95  0.94  2686 

avg/total  0.92  0.92  0.92  4567 


accuracy = 92.3144296037 

Answer 1

Utilisez la fonction predict_proba de SVC pour obtenir des probabilités au lieu de classes.
Pour utiliser la fonction predict_proba sur SVC, le paramètre probability=True doit être donné lors de l'initialisation.

classifier=svm.SVC(gamma=g,C=c,kernel='rbf',class_weight='balanced', probability=True) # parameter probability=True should be given 
classifier.fit(tdata, tlabels) 
expected = vlabels 
predicted = classifier.predict(vdata) 
pred_proba = classifier.predict_proba(vdata) # predict_proba function call 

fpr, tpr, thresholds = metrics.roc_curve(labels, proba_one) 
metrics.auc(fpr, tpr) 

Référence:
http://scikit-learn.org/stable/modules/generated/sklearn.metrics.auc.html
http://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html

Answer 2

Étape 1

Define: probability=True in SVC (ce paramètre est disponible pour SVC) voir link.

classifier=svm.SVC(gamma=g,C=c,kernel='rbf',class_weight='balanced', probability=True) 

Étape 2

Ensuite, vous devez utiliser la méthode predict_proba.

Exemple:

classifier.fit(X,y) 
classifier.predict_proba(X) 

Le résultat est la probabilité que vous voulez dans la gamme [0,1].

Espérons que cela aide.

SVC link

predict_proba