Quel extracteur de caractéristiques (Countvectorizer, TfIdf) sera le meilleur pour l'analyse de sentiment de tweets? Quelqu'un peut-il expliquer la différence entre chacun et ce qui est le plus pertinent pour les différents classificateurs.Extraction de fonction pour l'analyse de sentiment à l'aide de scikit-learn
J'ai prévu d'utiliser 3 différents classifiers- Naive Bayes, et SVM MaxEnt
Vous pouvez essayer d'utiliser la méthode de SelectKBest pour sélectionner le top k des caractéristiques les plus instructives pour l'analyse des sentiments. Ceci est présent dans la bibliothèque scikit-learn de Python. http://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.SelectKBest.html
Vous pouvez importer comme:
from sklearn.feature_selection import SelectKBest, chi2, f_classif
Une fois que vous avez lu la documentation que vous pouvez essayer d'utiliser à la fois le 'chi2', ainsi que des scores 'f-Classif' pour l'extraction de caractéristiques. SelectKBest est une bonne méthode pour sélectionner vos caractéristiques car elle sélectionne les entités qui ont la plus forte association avec la variable de sortie. Vous pouvez continuer à changer la valeur de k pour expérimenter et voir quelle valeur de k vous donne les meilleurs résultats.
Non, je cherchais réellement une méthode d'extraction de caractéristiques et non une méthode de sélection de caractéristiques. – ak9
Tfidf et Count Vectorizer donnent des résultats différents en fonction de vos données. Vous pouvez essayer les deux et voir ce qui vous donne une meilleure performance. – PJay