Ensembles de fonctions multiples

Question

J'étudie la PNL et j'apprends à utiliser NLTK et scikit-learn pour la classification de texte. J'ai donc implémenté la présence d'Unigram comme une fonctionnalité sur le corpus movie_review de NLTK. Maintenant, je suis en train de mettre en œuvre un document de recherche où ils ont utilisé plusieurs caractéristiques:

1. N-Gram Features : Unigram : Presence and Count, Bigram : Presence and Count 
2. Stylistic Features : POS_Noun, POS_Adverb, POS_Adjective : Ratios No. of spelling errors : Real-valued feature Length of text : Real-valued feature 

Depuis que je n'ai mis en place une fonction de fonction à ce jour, je suis maintenant des problèmes. Def find_POS_Noun_feature (document): pour utiliser POS_Noun comme caractéristique pour classer le texte def find_Length_of_text_feature (document): Pour utiliser #characters comme caractéristique etc etc. Ensuite, je peux former plusieurs classificateurs séparément.

Mais ce dont j'ai besoin, c'est comment intégrer toutes ces fonctionnalités dans un seul classificateur?

S'il vous plaît aider, j'ai cherché sur Internet, mais je n'ai pas trouvé d'explications correctes.

Answer 1

Placez toutes vos fonctionnalités dans un seul dictionnaire, indépendamment de l'origine ou du type. Assurez-vous simplement que les noms des entités sont distincts, afin de ne perdre aucune clé.

Si vous avez déjà des fonctions distinctes qui renvoient dictionnaires avec différents types de fonctionnalités, vous pouvez fusionner les résultats comme celui-ci:

all_features = find_unigram_features(document) 
all_features.update(find_bigram_features(document)) 
all_features.update(find_POS_Noun_feature(document)) 
etc. 

Si vous avez des fonctions qui renvoient une valeur individuelle (pas dict), vous mettez à jour le dictionnaire de la manière habituelle.

all_features["doc_length"] = find_Length_of_text_feature(document) 

La fonction de fonction avec laquelle vous vous entraînez sera la fonction qui fusionne toutes ces fonctions et renvoie le dictionnaire combiné.