trouver les mots-clés, relatifs à tous les documents

Question

J'ai plus de 100 000 documents texte. Je voudrais trouver un moyen de répondre à cette (quelque peu ambiguë) question:

Pour un sous-ensemble donné de documents, quels sont les plus fréquentes n mots - liés à l'ensemble des documents?

Je voudrais présenter les tendances, par ex. un nuage de mots montrant quelque chose comme "ce sont les sujets qui sont particulièrement chauds dans la gamme de dates". (Oui, je sais que c'est une simplification excessive: mots! = Sujets etc.)

Il semblerait que je pourrais éventuellement calculer quelque chose comme tf-idf valeurs pour tous les mots dans tous les documents, puis faire un certain nombre de calcul, mais je ne sais pas Je ne veux pas réinventer les roues ici.

Je prévois d'utiliser éventuellement Lucene ou Solr pour indexer les documents. Seraient-ils m'aider avec cette question - comment? Ou recommanderiez-vous d'autres outils en plus/à la place?

Answer 1

Cela devrait fonctionner: http://lucene.apache.org/java/3_1_0/api/contrib-misc/org/apache/lucene/misc/HighFreqTerms.html

This StackOverflow Question couvre également les fréquences terme en général avec Lucene.

Si vous n'utilisez pas déjà Lucene, l'opération dont vous parlez est un problème d'introduction classique pour Hadoop (le problème du "nombre de mots").