Lasso ou Ridge pour les variables corrélées

Question

J'essaie de comprendre une citation "En présence de variables corrélées, la régression de crête pourrait être le choix préféré." Disons que nous avons les variables a1, a2, b1, c2, et les 2 a "s sont corrélés Si nous utilisons Lasso, il peut éliminer l'un des" s. Lasso et Ridge feront tous les deux rétrécir. Donc ça sonne Lasso pourrait être mieux dans ces conditions. Mais la citation dit Ridge est meilleur. Est-ce une citation erronée ou il me manque quelque chose? (Peut-être penser trop simple)

Answer 1

En général, il n'y a pas d'approche préférée. LASSO conduira vraisemblablement certains coefficients à 0, alors que Ridge ne va pas réduire leurs valeurs. En outre, Ridge est susceptible d'être plus rapide en termes de calcul car minimiser la norme L2 est plus facile que la norme L1 (LASSO).

Si possible, pourquoi ne pas implémenter les deux approches et effectuer une validation croisée pour voir qui donne de meilleurs résultats?

Enfin, je recommande également d'examiner Elastic Net qui est une sorte d'hybride de LASSO et Ridge.