Classification hiérarchique pour les données catégorielles en python

Question

J'ai un attribut catégoriel qui contient des valeurs de chaîne. trois d'entre eux contiennent le nom du jour (mon --- soleil) et l'intervalle de temps (le matin après-midi le soir), les deux autres comme je l'ai mentionné avant ont des noms de district et de rue. suivi par le genre, le rôle, les commentaires (c'est un champ fixe prédéfini qui a des valeurs comme bon, mauvais fort, etc.) nom et prénom. mon intention est de les regrouper et de les visualiser. J'ai appliqué le clustering k-mean en utilisant cette fraise WEKA cela n'a pas fonctionné. Maintenant, je souhaite appliquer le clustering hiérarchique dessus. J'ai trouvé ce code:

import scipy 
import scipy.cluster.hierarchy as sch 
X = scipy.randn(100, 2)  # 100 2-dimensional observations 
d = sch.distance.pdist(X) # vector of (100 choose 2) pairwise distances 
L = sch.linkage(d, method='complete') 
ind = sch.fcluster(L, 0.5*d.max(), 'distance') 

Cependant, X dans le code ci-dessus est numérique; J'ai des données catégoriques. Existe-t-il un moyen d'utiliser un certain nombre de données catégoriques pour trouver la distance? En d'autres termes, puis-je utiliser des données catégoriques de valeurs de chaîne pour trouver la distance? je puis utiliser cette distance dans sch.linkage(d, method='complete')

Answer 1

Je pense que nous avons identifié le problème, vous laissez les X valeurs telles qu'elles sont, les données de chaîne. Vous pouvez les passer à pdist, mais vous devez également fournir une fonction 2-arity (2 entrées, sortie numérique) pour la mesure de distance.

La plus simple serait que les classifications égales aient une distance de 0; tout le reste est 1. Vous pouvez le faire avec

d = sch.distance.pdist(X, lambda u, v: u != v) 

Si vous avez d'autres discriminations de classe à l'esprit, juste la logique de code pour retourner la distance souhaitée, l'envelopper dans une fonction, puis passer le nom de la fonction à pdist. Nous ne pouvons pas vous aider, parce que vous ne nous avez rien dit au sujet de vos classes ou de la sémantique du modèle.

Est-ce que cela vous aide à bouger?