Python - SelectFromModel avec Naive-Bayes

Question

J'utilise SelectFromModel en combinaison avec MultinomialNB pour la sélection de fonction dans une tâche de classification texte.

SelectFromModel(estimator=MultinomialNB(alpha=1.0)) 

SelectFromModel détermine l'importance de caractéristiques en calculant:

importances = np.linalg.norm(estimator.coef_, axis=0,ord=norm_order) 

Mais est-ce pas exactement le contraire de ce que je veux, parce que les caractéristiques avec une fréquence élevée se traduira par de faibles valeurs absolues?

Il y a déjà plusieurs questions bien répondues pour déterminer l'importance des caractéristiques d'une classe spécifique, mais pas pour l'importance des caractéristiques en général.

Existe-t-il un moyen de déterminer l'importance de la caractéristique avec SelectFromModel en combinaison avec NB ou d'autres approches mieux adaptées à cette tâche?

Answer 1

Il existe une fonction connue sous le nom d'élimination de caractéristique récursive avec validation croisée, également connue sous le nom RFECV in sklearn. Il essaie de classer les caractéristiques en fonction de leur importance de manière récursive et effectue une validation croisée pour obtenir le meilleur nombre de caractéristiques avec l'estimateur spécifié. Vous pouvez regarder le example here pour plus d'informations.

Je ne sais pas pourquoi selectFromModel ne fonctionne pas avec NaiveBayes. Je mettrai à jour cette réponse si je trouve quelque chose qui s'y rapporte. En attendant, vous pouvez vérifier que RFECV répond à vos besoins.