h2o GBM arrêt précoce

Question

Je suis en train d'overfit un GBM avec H2O (je sais que c'est bizarre, mais j'ai besoin de cela pour faire un point). Donc, j'augmenté la MAX_DEPTH de mes arbres et le retrait, et désactivé le critère d'arrêt:

overfit <- h2o.gbm(y=response 
        , training_frame = tapp.hex 
        , ntrees = 100 
        , max_depth = 30 
        , learn_rate = 0.1 
        , distribution = "gaussian" 
        , stopping_rounds = 0 
        , distribution = "gaussian" 
       ) 

Le overfitting fonctionne très bien, mais je l'ai remarqué que l'erreur de formation ne s'améliore pas après l'arbre 64e. Est-ce que tu sais pourquoi ? Si je comprends bien le concept de «boosting», l'erreur d'entraînement devrait converger vers 0 à mesure que le nombre d'arbres augmente.

Informations sur mes données: Environ 1 million d'observations 10 variables La variable de réponse est quantitative.

Passez une bonne journée!

Answer 1

Avez-vous essayé d'abaisser le paramètre min_split_improvement? La valeur par défaut de 1e-5 est déjà microscopique mais pertinente pour un million de lignes. Je suppose que tous les arbres après le 64ème (dans votre exemple) seront triviaux?

Answer 2

Si le taux d'apprentissage de 0,1 ne fonctionne pas pour vous, je recommande de diminuer le taux d'apprentissage de sorte que quelque chose comme 0,01 ou 0,001. Bien que vous indiquiez que l'erreur d'entraînement cesse de diminuer après l'arbre 64, je recommanderais quand même d'essayer d'ajouter plus d'arbres, au moins 1000-5000, surtout si vous essayez un taux d'apprentissage plus lent.