J'utilise spacy pour pré-traiter les données pour l'analyse des sentiments.Est-ce qu'il est possible de faire de la lemmatisation de manière indépendante en spacy?
Ce que je veux faire est:
1) lemmatisation
2) de marquage POS sur les mots lemmatisées
Mais depuis spacy fait tout le processus à la fois lorsque l'analyseur est appelé qu'il fait tous les calculs deux fois. Y a-t-il une option pour désactiver les calculs non requis?
Jetez un coup d'oeil à la langue. appel méthode pour voir comment les différents processus sont appliqués en séquence. Il n'y a pas beaucoup - il est fondamentalement:
doc = nlp.tokenizer(text)
nlp.tagger(doc)
nlp.parser(doc)
nlp.entity(doc)
Si vous avez besoin d'une autre séquence, vous devez simplement écrire votre propre fonction de les enchaîner différemment.
Je ne suis pas sûr que ce que vous demandez est logique, cependant. Si vous appliquez le tagueur POS au texte lemmatisé, le modèle statistique ne fonctionnera probablement pas très bien. Les suffixes flexionnels sont des caractéristiques importantes.