Algorithme génétique pour la classification

Question

J'essaie de résoudre le problème de classification en utilisant Matlab GPTIPS cadre. J'ai réussi à construire une représentation de données et une fonction de condition physique raisonnables jusqu'à présent et j'ai obtenu une précision moyenne par classe de près de 65%.

Ce que je besoin est maintenant une aide à deux difficultés:

1. Mes données est biaisée. Fondamentalement, je résous problème de classification binaire et seulement 20% des données appartiennent à la classe 1, tandis que les autres 80% appartiennent à la classe 0. J'ai utilisé la précision de la prédiction comme ma fonction de fitness, mais c'était vraiment mauvais. Le mieux que j'ai maintenant

   Fitness = 0,5 * (+ PositivePredictiveValue NegativePredictiveValue) - const * ComplexityOfSolution

S'il vous plaît, advize, comment puis-je améliorer ma fonction de faire la correction pour le biais de données.

1. Le deuxième problème est le sur-ajustement. J'ai divisé mes données en trois parties: formation (70%), tests (20%), validation (10%). J'entraîne chaque chromosome sur l'ensemble d'entraînement, puis j'évalue sa fonction de remise en forme sur l'ensemble de test. Cette routine me permet d'atteindre la forme physique de 0,82 sur mes données de test pour le meilleur individu dans la population. Mais le résultat de la même personne sur les données de validation n'est que de 60%. J'ai ajouté un contrôle de validation pour le meilleur individu chaque fois avant que la nouvelle population soit générée. Ensuite, je compare la forme physique sur le jeu de validation avec la condition physique sur l'ensemble de test. Si la différence est supérieure à 5%, j'augmente la pénalité pour la complexité de la solution dans ma fonction de fitness. Mais ça n'a pas aidé. Je pourrais aussi essayer d'évaluer tous les individus avec un jeu de validation à chaque génération, et simplement supprimer ceux qui sont surajustés. Mais alors, je ne vois aucune différence entre mes données de test et de validation. Que peut-on faire d'autre ici?

MISE À JOUR:

Pour ma deuxième question que j'ai trouvé grand article "Experiments on Controlling Overtting in Genetic Programming" Avec quelques articles idées d'auteurs sur le traitement des overfitting en GP, ​​il a revue impressionnante avec beaucoup de références à de nombreux approches à la question. Maintenant j'ai beaucoup de nouvelles idées que je peux essayer pour mon problème. Malheureusement, je n'arrive toujours pas à trouver quoi que ce soit sur la sélection d'une fonction de remise en forme qui tiendra compte des proportions de classes déséquilibrées dans mes données.

Answer 1

La précision de 65% est très mauvaise lorsque la ligne de base (classer tout comme la classe avec la plupart des échantillons) serait de 80%. Vous devez atteindre au moins la classification de base afin d'avoir un meilleur modèle que le naïf.

Je ne pénaliserais pas la complexité. Plutôt limiter la taille de l'arbre (si possible). Vous pourriez identifier des modèles plus simples au cours de la course, comme le stockage d'un front pareto de modèles avec la qualité et la complexité de ses deux valeurs de fitness.

En HeuristicLab nous avons intégré la classification GP qui peut faire ces choses. Il existe plusieurs options: Vous pouvez choisir d'utiliser MSE pour la classification ou R2. Dans la dernière version du tronc, il y a aussi un évaluateur pour optimiser la précision directement (exactement, cela optimise les pénalités de classification). Optimiser MSE signifie qu'il affecte une valeur à chaque classe (1, 2, 3, ...) et tente de minimiser l'erreur quadratique moyenne de cette valeur. Cela peut ne pas sembler optimal au début, mais ça marche. L'optimisation de la précision directement peut entraîner un sur-ajustement plus rapide. Il y a aussi un simplificateur de formule qui vous permet d'élaguer et de réduire votre formule (et d'en voir les effets).

Aussi, faut-il être GP? Avez-vous déjà essayé la classification aléatoire des forêts ou les machines à vecteurs de support? RF sont assez rapides et fonctionnent assez bien habituellement.