Précision du niveau de chance pour des données clairement séparables

Question

J'ai écrit ce que je crois être un simple classificateur SVM [SVM = Support Vector Machine]. "Test" avec des données normalement distribuées avec différents paramètres, le classificateur me renvoie une précision de 50%. Qu'est-ce qui ne va pas?

Voici le code, les résultats doivent être reproductibles:

features1 = normrnd(1,5,[100,5]); 
features2 = normrnd(50,5,[100,5]); 
features = [features1;features2]; 
labels = [zeros(100,1);ones(100,1)]; 

%% SVM-Classification 
nrFolds = 10; %number of folds of crossvalidation 
kernel = 'linear'; % 'linear', 'rbf' or 'polynomial' 
C = 1; % C is the 'boxconstraint' parameter. 

cvFolds = crossvalind('Kfold', labels, nrFolds); 


for i = 1:nrFolds       % iterate through each fold 
    testIdx = (cvFolds == i);    % indices test instances 
    trainIdx = ~testIdx;      % indices training instances 

    % train the SVM 
    cl = fitcsvm(features(trainIdx,:), labels(trainIdx),'KernelFunction',kernel,'Standardize',true,... 
    'BoxConstraint',C,'ClassNames',[0,1]); 

    [label,scores] = predict(cl, features(testIdx,:)); 
    eq = sum(labels(testIdx)); 
    accuracy(i) = eq/numel(labels(testIdx)); 

end 

crossValAcc = mean(accuracy) 

Answer 1

Vous n'êtes pas correctement calculez l'exactitude. Vous devez déterminer le nombre de prédictions correspondant aux données d'origine. Vous résumez simplement le nombre total de 1 dans l'ensemble de test, et non le nombre réel de prédictions correctes.

Par conséquent, vous devez changer votre déclaration eq à ceci:

eq = sum(labels(testIdx) == label); 

Rappelons que labels(testIdx) extrait le véritable label de votre jeu de test et label est les résultats prévus de votre modèle SVM. Cela génère correctement un vecteur de 0/1 où 0 signifie que la prédiction ne correspond pas à l'étiquette réelle de l'ensemble de test et 1 signifie qu'ils sont d'accord. Sommer sur chaque fois qu'ils sont d'accord, ou chaque fois que le vecteur est 1 est le moyen de calculer la précision.