implémentations Sparse d'apprendre scikit-calculs à distance en python/

Question

J'ai un grand (100K par 30K) et (très) jeu de données rares en format svmlight que je charge comme suit:

import numpy as np 
from scipy.cluster.vq import kmeans2 
from scipy.spatial.distance import pdist, squareform 
from sklearn.datasets import load_svmlight_file 

X,Y = load_svmlight_file("somefile_svm.txt") 

qui retourne une scipy clairsemée tableau X

Je dois simplement pour calculer les distances par paires de tous les points de formation comme

D = pdist(X) 

Malheureusement, les implémentations de calcul de distance dans le travail de scipy.spatial.distance seulement pour les matrices denses. En raison de la taille de l'ensemble de données, il est impossible, disons, utilisez pdist comme

D = pdist(X.todense()) 

Les pointeurs vers des implémentations ou des solutions de contournement de calcul de distance de la matrice clairsemées en ce qui concerne ce problème seront grandement appréciés.

Un grand merci

Answer 1

En scikit-learn il y a une fonction sklearn.metrics.euclidean_distances qui fonctionne aussi bien pour les matrices creuses et les tableaux de numpy denses. Voir le reference documentation. Cependant, les distances non-euclidiennes ne sont pas encore implémentées pour les matrices creuses.