Comment calculer F1-Score pour la classification Multilabel?

Question

J'essaie de calculer le f1_score mais je reçois des avertissements dans certains cas lorsque j'utilise la méthode sklearn f1_score.

J'ai un problème de classe 5 multilabel pour une prédiction.

import numpy as np 
from sklearn.metrics import f1_score 

y_true = np.zeros((1,5)) 
y_true[0,0] = 1 # => label = [[1, 0, 0, 0, 0]] 

y_pred = np.zeros((1,5)) 
y_pred[:] = 1 # => prediction = [[1, 1, 1, 1, 1]] 

result_1 = f1_score(y_true=y_true, y_pred=y_pred, labels=None, average="weighted") 

print(result_1) # prints 1.0 

result_2 = f1_score(y_true=y_ture, y_pred=y_pred, labels=None, average="weighted") 

print(result_2) # prints: (1.0, 1.0, 1.0, None) for precision/recall/fbeta_score/support 

Lorsque j'utilise average="samples" au lieu de "weighted" I get (0.1, 1.0, 0,1818 ..., Aucun). L'option "weighted" n'est-elle pas utile pour un problème multilabel ou comment utiliser la méthode f1_score correctement?

Je reçois aussi un avertissement lors de l'utilisation average="weighted":

« UndefinedMetricWarning:. Rappel et F-score sont mal définis et être mis à 0,0 dans les étiquettes sans véritables échantillons »

Answer 1

Il fonctionne si vous ajoutez des données légèrement:

y_true = np.array([[1,0,0,0], [1,1,0,0], [1,1,1,1]]) 
y_pred = np.array([[1,0,0,0], [1,1,1,0], [1,1,1,1]]) 

recall_score(y_true=y_true, y_pred=y_pred, average='weighted') 
>>> 1.0 
precision_score(y_true=y_true, y_pred=y_pred, average='weighted') 
>>> 0.9285714285714286 

f1_score(y_true=y_true, y_pred=y_pred, average='weighted') 
>>> 0.95238095238095244 

Les données suggèrent que nous avons manqué aucun des vrais positifs et n'a pas prévu de faux négatifs (recall_score est égal à 1). Cependant, nous avons prédit un faux positif dans la seconde observation qui a conduit à precision_score égal ~ 0,93.

Comme les deux precision_score et recall_score ne sont pas nuls avec le paramètre weighted, f1_score, donc, existe. Je crois que votre cas est invalide en raison du manque d'information dans l'exemple.