Peut sklearn.decomposition.TruncatedSVD être appliqué à une matrice en pièces?

Question

J'applique sklearn.decomposition.TruncatedSVD à de très grandes matrices. Si la matrice est au-dessus d'une certaine taille (disons 350k par 25k), svd.fit (x) manque de RAM.

J'applique svd aux matrices d'entités, où chaque ligne représente un ensemble d'entités extraites d'une seule image. Pour contourner les problèmes de mémoire, est-il sûr d'appliquer svd à des parties de la matrice (puis de concaténer)?

Le résultat sera-t-il le même? i.e. .:

from sklearn.decomposition import TruncatedSVD 
svd = TruncatedSVD(n_components=128) 
part_1 = svd.fit_transform(features[0:100000, :]) 
part_2 = svd.fit_transform(features[100000:, :]) 
svd_features = np.concatenate((part_1, part_2), axis=0) 

.. équivalent à (?):

from sklearn.decomposition import TruncatedSVD 
svd = TruncatedSVD(n_components=128) 
svd_features = svd.fit_transform(svd_features) 

---

Sinon, est-il une solution pour la réduction des dim très grandes matrices?

Answer 1

Les résultats ne seront pas les mêmes,

Par exemple, considérons le code ci-dessous:

import numpy as np 
features=np.array([[3, 2, 1, 3, 1], 
     [2, 0, 1, 2, 2], 
     [1, 3, 2, 1, 3], 
     [1, 1, 3, 2, 3], 
     [1, 1, 2, 1, 3]]) 
from sklearn.decomposition import TruncatedSVD 
svd = TruncatedSVD(n_components=2) 
svd = TruncatedSVD(n_components=2) 
part_1 = svd.fit_transform(features[0:2, :]) 
part_2 = svd.fit_transform(features[2:, :]) 
svd_features = np.concatenate((part_1, part_2), axis=0) 
svd_b = TruncatedSVD(n_components=2) 
svd_features_b = svd_b.fit_transform(features) 
print(svd_features) 
print(svd_features_b) 

Cette imprime

[[ 4.81379561 -0.90959982] 
[ 3.36212985 1.30233746] 
[ 4.70088886 1.37354278] 
[ 4.76960857 -1.06524658] 
[ 3.94551566 -0.34876626]] 


[[ 4.17420185 2.47515867] 
[ 3.23525763 0.9479915 ] 
[ 4.53499272 -1.13912762] 
[ 4.69967028 -0.89231578] 
[ 3.81909069 -1.05765576]] 

qui sont différents les uns des autres.