Stemming - exemples de code ou projets open source?

Question

L'étalement est quelque chose dont on a besoin dans les systèmes d'étiquetage. J'utilise délicieux, et je n'ai pas le temps de gérer et d'élaguer mes tags. Je suis un peu plus prudent avec mon blog, mais ce n'est pas parfait. J'écris des logiciels pour les systèmes embarqués qui seraient beaucoup plus fonctionnels (utiles pour l'utilisateur) s'ils incluaient le stemming.

Par exemple:
Parse
Parser
Parsing

Si tout cela veut dire la même chose à tout ce système que je les mettre en.

Idéalement, il ya un stemmer sous licence BSD quelque part, mais si non, où puis-je chercher à apprendre les algorithmes et les techniques communes pour cela? En dehors des stemmers BSD, quels sont les autres émetteurs sous licence open source disponibles?

-Adam

Answer 1

Snowball égrappoir (C & Java) Je l'ai utilisé est binding Python, PyStemmer

Answer 2

Lucene a un égrappoir dans, je crois (et IIRC il vous permet d'utiliser votre propre un si vous voulez).

EDIT: Juste vérifié, et Lucence se réfère au site Snowball qui est une bibliothèque de racine open source autant que je peux dire.

Answer 3

Vérifiez le nltk toolkit écrit en python. Il a un très fonctionnel stemmer.

Answer 4

WordNet est une autre option pour l'indexation, avec one of its APIs. Certains basic information on stemming and lemmatization, y compris une description de l'algorithme de stemming de Porter, peuvent être trouvés en ligne dans Introduction to Information Retrieval.