Apache Lucene: comment convertir un index de collection en un autre format?

Question

Je dois convertir un index généré par Apache Lucene en une autre représentation de collection.

J'ai actuellement une collection de documents avec de nombreux attributs.

J'ai besoin de créer des paires de documents avec des mesures de similarité, afin de les passer aux classificateurs.

Connaissez-vous un didacticiel que je pourrais utiliser pour effectuer cela?

grâce

Answer 1

Les mesures de similarité doivent être basées sur une requête . c'est-à-dire que vous interrogez votre ensemble de documents Lucene et vous obtenez un ensemble de documents avec des scores relatifs.

Si vous voulez comparer chaque document avec tous les autres (est-ce exact? C'est difficile à dire à partir de la question) alors vous devez utiliser une caractéristique de chaque document comme base pour les requêtes. Par exemple, vous pouvez extraire les N premiers termes (par fréquence, excluant les mots vides) de chaque document. Si vous avez des documents X alors vous aurez des requêtes X. Ensuite, vous exécutez chacune de vos requêtes X sur l'index et vous obtenez des similarités relatives de chaque document avec chaque autre. C'est une matrice que vous pourriez utiliser pour la classification. Une autre alternative consisterait à utiliser le titre, ou le synopsis de chaque document comme base de la requête (encore une fois, en excluant les arrêts).