question sur les arbres de décision

Question

Après avoir étudié l'arbre de décision pendant un moment, j'ai remarqué qu'il existe une petite technique appelée boosting. Je vois dans les cas normaux, cela améliorera la précision de l'arbre de décision.

Donc, je me demande simplement, pourquoi ne pas simplement incorporer ce boosting dans chaque arbre de décision que nous avons construit? Comme actuellement nous laissons la technique de boosting en tant que technique séparée, je réfléchis: y a-t-il des inconvénients à utiliser le boosting plutôt que d'utiliser un seul arbre de décision?

Merci de m'avoir aidé!

Answer 1

Boosting est une technique qui peut aller au-delà de tout algorithme d'apprentissage. C'est le plus efficace lorsque le classifieur original que vous avez construit fonctionne à peine au-dessus du hasard. Si votre arbre de décision est déjà très bon, le boosting peut ne pas faire beaucoup de différence, mais avoir une pénalité de performance - si vous exécutez un boosting pour 100 itérations, vous devrez entraîner et stocker 100 arbres de décision.

Habituellement, les personnes boivent avec des tronçons de décision (arbres de décision avec un seul nœud) et obtiennent des résultats aussi bons que des arborescences de décision complètes.

J'ai fait quelques experiments avec boosting et je l'ai trouvé assez robuste, meilleur que le classificateur à arbre unique, mais aussi plus lent (j'avais l'habitude de 10 itérations), et pas aussi bon que certains des plus simples apprenants (à être juste, c'était un jeu de données extrêmement bruyant)

Answer 2

il y a plusieurs disadvatages pour stimuler: 1 difficile à mettre en œuvre 2 dont ils ont besoin une formation approfondie à la formation définit plus d'un arbre de décision ne 3- la pire chose est que tous les algorithmes stimulant nécessitent une valeur de seuil qui est dans la plupart des cas difficile à comprendre car il nécessite des tests d'erreurs et de tests approfondis sachant que toute la performance de l'algorithme de boost dépend de ce seuil