Choisir entre le SVM et le classificateur MLP

Question

Je dois former un classificateur qui serait capable de discerner 6 classes possibles des échantillons d'entrée. J'ai aussi une matrice de coût pour estimer les performances du classificateur avec et sans tenir compte de l'option de rejet.

Jusqu'à présent, en utilisant la validation croisée (leave-one-out), l'ensemble de données que je divisé dans le jeu de formation et de validation ensemble, donc je peux mesurer la performance du classificateur. Je suis arrivé à ces résultats en termes de précision :

• Multilayer Perceptron: 57,69% sans rejeter l'option, 48,26% avec l'option rejeter
• Support Vector Machine: 61,99% sans rejeter l'option, 35,09% avec l'option rejeter

Alors en termes de coûts (ce sont des estimations obtenues à l'aide du règle de classification du risque minimum):

• MLP: 2,0028 sans rejeter l'option, 1,4965 avec l'option Rejeter
• SVM: 1,6089 sans l'option rejeter, 0, 8502 avec l'option de rejet

J'ai donc atteint un point où je ne sais pas quel classificateur est le meilleur.

Bien sûr, le SVM a des coûts ridiculement bas, mais quand vous considérez l'option de rejet, vous remarquez soudainement que sa précision est assez mauvaise (-13% inférieure à MLP).

En termes de précision , je dirais que le MLP est mieux que le SVM en raison de sa précision moyenne (en tenant compte à la fois avec/sans rejeter l'option): 52,97% (MLP) vs 48 , 54% (SVM).

Mais le SVM est mieux en termes de coût moyen: 1,74965 (MLP) vs 1,22955 (SVM).

Existe-t-il des lignes directrices pour faciliter cette décision?

Editer (plus d'informations sur demande): l'ensemble de données a ~ 700 échantillons avec ~ 1250 caractéristiques. Cependant, avec la sélection de caractéristiques, j'ai réduit les caractéristiques à 81.

L'ensemble de test (que je n'ai pas) sera de ~ 700 échantillons.

Answer 1

Je ne sais pas quelle est exactement l'implémentation MLP que vous utilisez. En général, pour de très grandes entrées, SVM aura sûrement de meilleures performances tandis que MLP pourrait être inutile. en fonction de la mise en œuvre, du nombre de neurones, etc., un MLP peut également être surentraîné, ce qui entraîne une moins bonne précision. Vous devez donc d'abord déterminer la taille typique de l'entrée.