Est-ce possible que l'on utilise l'ensachage sur la combinaison d'un arbre de décision et d'un séparateur linéaire?Est-ce possible que l'on utilise l'ensachage sur la combinaison d'un arbre de décision et d'un séparateur linéaire?
Je sais que l'ensachage pourrait être utilisé pour l'arbre de décision ou le séparateur linéaire individuellement. mais qu'en est-il de la combinaison?
Des idées?
Ceci est une question plutôt compliquée.
Bien que l'ensachage peut être utilisé avec des arbres de décision, l'approche originale ne fonctionne pas très bien - les populations souséchantillonnés produisent des arbres fortement corrélés. La solution vous emmène généralement dans la direction des forêts aléatoires, qui sont une variation sur l'ensachage.
La mise en sac elle-même est une forme de vote par modèle. Oui, vous pouvez demander à différents modèles de voter pour le résultat final. Vous pouvez même avoir un ensemble hétérogène de modèles développés indépendamment pour faire le vote. Si cela produit un modèle amélioré, je ne sais pas. L'agrégation de bootstrap (le nom formel de l'ensachage) est généralement appliquée à un type de modèle - bien que sous une forme modifiée pour les arbres de décision.
Personnellement, je pense, l'utilisation du séparateur linéaire ruinera les performances de mise en sac. Mais en fait, tout ce que nous voulons, c'est échanger la variance et le biais, mais la combinaison ne peut pas l'accomplir ... est-ce exact? –
@TianyiNi. . . Mon point est que bagging * en soi * n'est pas utile avec les arbres de décision. Vous devriez regarder des algorithmes de forêt aléatoires. La randomisation sur les champs utilisés pour la division est ce qui fait que l'ensachage fonctionne dans ce contexte. –