Meilleur dendrogramme de cluster pour la représentation de Cluster dans Text Mining dans R

Question

J'ai environ 1140 termes dans trois documents (après suppression des termes fragmentés). Je veux avoir l'information sur les grappes. J'ai produit des groupes comme montré dans l'image ci-jointe mais je suis incapable de les lire. J'ai aussi essayé les groupes de k-mean mais le même problème persiste. Je ne m'intéresse pas tellement à tous les termes mais clairement définis que trois ou quatre groupes feraient le travail. J'ai utilisé tm package dans R pour l'exploration de texte.

Deuxièmement, je cherche aussi à trouver une association en termes de dans un seul document; pour cela, comment puis-je diviser un fichier texte en plusieurs fichiers texte, c'est-à-dire si mon fichier contient trois phrases: Doc: "Je m'appelle ABC, j'habite à XYZ, je suis cousin de TUV." Je voudrais le diviser en: Doc_1: Je m'appelle ABC. Doc_2: J'habite à XYZ. Doc_3: Je suis cousin de TUV. Donc j'ai trois lignes et colonnes de termes en dtm au lieu d'une ligne et d'une colonne de termes.

et

Answer 1

Vous demandez plus d'une question. Je vais adresser votre premier. Il semble irréaliste de s'attendre à mettre 1140 chaînes dans votre graphique et s'attendre à voir quelque chose. Vous avez besoin d'un moyen d'être en mesure d'en voir un peu à la fois. Vous pouvez couper l'arbre et regarder des morceaux plus petits dans la partie inférieure de l'arbre pour contrôler combien vous voyez en même temps.

Voici un exemple. Même avec 150 points, il est difficile de voir ce qui se passe.

D = as.dendrogram(hclust(dist(iris[,1:4]))) 
plot(D) 

Mais si vous coupez l'arbre, vous pouvez regarder les branches inférieures individuelles et comprendre cette partie.

Cuts = cut(D, 4) 
plot(Cuts$lower[[2]]) 

Bien sûr, vous aurez besoin d'expérimenter un peu pour trouver de bons endroits pour couper votre arbre .