Quelles sont les fonctionnalités générateurs dans le traitement du langage naturel

Question

Quelqu'un peut-il me dire ce que les générateurs de fonctionnalités sont en ce qui concerne les processeurs de langage naturel?

Answer 1

Si je lis correctement, je crois « génération de fonction » dans cette citation fait référence au processus d'extraction de caractéristiques de votre texte. Sans trop entrer dans les détails, il s'agit essentiellement d'obtenir les dimensions de vos données qui, selon vous, seraient utiles pour votre tâche de prédiction/classification et de les mettre dans une représentation vectorielle. Par exemple, supposons que nous essayions de créer un classificateur pour déterminer si un e-mail était un spam. Par exemple, supposons que nous essayions de créer un classificateur. Nous pourrions extraire des fonctionnalités telles que CONTAINS_WORD_NIGERIA ou IS_FROM_PERSON_IN_CONTACT_LIST. Ou si nous devions suivre la citation ci-dessus, nous pourrions faire des fonctionnalités spécialisées en utilisant les balises html telles que PERCENT_OF_WORDS_IN_HREF_TAG. Comme vous pouvez l'imaginer, vous pouvez aller trop loin lors de l'ingénierie des fonctionnalités, et le véritable défi consiste à optimiser votre jeu de fonctionnalités pour obtenir de bons résultats sur des données non vues.