Calculer la précision et rappeler sur la base de données WANG

Question

J'ai créé un système CBIR dans MATLAB et j'ai utilisé la mesure de similarité comme la distance euclidienne. En utilisant ceci pour chaque image de requête, je récupère les 20 images les plus importantes.

J'ai utilisé WANG Dataset pour tester mon système.
Il contient 10 classes (comme les Africains, les Bus, les Roses, etc.) contenant chacune 100 images (1000 images au total).

Ma méthode:
1. J'utilise corrélogramme, Matrix Cooccurrence (CCM) et la différence entre modèle de balayage des pixels (DBPSP) pour la construction de mon vecteur (64 + 196 + 28 = 288 dimensions respectivement).

2. Chacune des images de 1000 db dont j'ai déjà construit le vecteur.
3. Maintenant une image de requête vient et je construis aussi son vecteur (228 dimensions à nouveau).
4. J'utilise la distance euclidienne pour la similarité et le tri des vecteurs d'image db dans l'ordre décroissant de leur distance euclidique.

5. Les 20 premiers résultats sont affichés.

6. Dans ces 20 je peux avoir TP ou FP.

Pour une seule image de requête que je peux facilement calculer précision et de rappel et de terrain PR-courbe en utilisant ce link.

Comment puis-je faire la même chose pour toute la classe?

Mon approche: Pour chaque image appartenant à la classe A, retrouvez les 20 images les plus importantes et c'est respectivement TP (vrais positifs) et FP (faux positifs).

 TP FP 

Image1 17 3 
Image2 15 5 
... 
... 
Image100 10 10 
Total 1500 500 

Précision de classe A = 1500/(2000) = .75 (Est-il juste ??)
Rappel de la classe A ---> Coincé ??
PR-Curve ----> Stuck ?? Certains liens disent que j'ai besoin d'un classificateur pour cela et d'autres pas ... Je suis vraiment confus.

Answer 1

Ainsi que vous l'avez noté, vous pouvez calculer la précision comme suit. Cependant, vous devez avoir FN ou le nombre total de falses pour calculer le rappel. Comme discussed in chat, vous devez trouver un moyen de déterminer vos données FN et FP. Ensuite, vous pouvez utiliser la formule suivante pour calculer le rappel.

R = TP ./ (TP + FN) 

Si vous avez la matrice de confusion ou de données, vous pouvez utiliser mon confusionmat2f1.m sur mesure pour calculer la précision, le rappel et f1 marquer. Cela suppose que la matrice de confusion est formatée comme Matlab defines it. Une explication de chaque ligne est en ligne. S'il vous plaît laissez-moi savoir si vous voulez plus de précisions.

function [F,P,R] = confusionmat2f1(C) 
    %% confusionmat2f1(C) 
    % 
    % Inputs 
    % C - Confusion Matrix 
    % 
    % Outputs 
    % F - F1 score column vector 
    % P - Precision column vector 
    % R - Recall column vector 

    %% 

    % Confusion Matrix to Probability 
    M = sum(C, 3); 

    % Calculate Precision 
    P = diag(M) ./ sum(M,1)'; 

    % Calculate Recall 
    R = diag(M) ./ sum(M,2); 

    % Calculate F1 Score 
    F = f1(P, R);