Marquage des noms en utilisant lucene/java

Question

J'ai les noms de tous les employés de mon entreprise (5000+). Je veux écrire un moteur qui peut trouver à la volée des noms dans des articles en ligne (blogs/wikis/documents d'aide) et les taguer avec le tag "mailto" avec l'email de l'utilisateur.

A partir de maintenant, je prévois de supprimer tous les mots d'arrêt de l'article, puis de rechercher chaque mot dans un index lucene. Mais même dans ce cas, je vois beaucoup de requêtes qui touchent les index, par exemple s'il y a un article avec 2000 mots et seulement deux références aux noms de personnes, alors probablement il y aura 1000 requêtes lucene.

Existe-t-il un moyen de réduire ces requêtes? Ou un tout autre moyen de parvenir à la même chose? Merci d'avance

Answer 1

http://en.wikipedia.org/wiki/Aho%E2%80%93Corasick_string_matching_algorithm
Cet algorithme peut vous être utile. La façon dont cela fonctionnerait est que vous compilez d'abord la liste entière des noms dans une machine d'état finie géante (ce qui prendrait probablement un certain temps), mais une fois que cette machine d'état est construite, vous pouvez la parcourir autant de documents que vous voulez. détecter les noms assez efficacement.
Je pense qu'il ne regarderait chaque caractère de chaque document qu'une seule fois, il devrait donc être beaucoup plus efficace que de marquer le document et de comparer chaque mot à une liste de noms connus.
Il existe un certain nombre d'implémentations disponibles pour différentes langues sur le Web. Vérifiez-le.

Answer 2

Si vous avez seulement 5000 noms, je voudrais simplement les coller dans une table de hachage en mémoire au lieu de déranger avec Lucene. Vous pouvez les hacher de plusieurs façons (par exemple, surnoms, premier-dernier ou dernier-premier, etc.) tout en ayant une empreinte mémoire relativement faible et des performances vraiment efficaces.