Existe-t-il une méthode pouvant traiter la réduction de grande dimension pour le modèle de régression?

Question

J'ai un ensemble de données d'apprentissage qui est si énorme, environ 15 Go, que je ne peux pas l'adapter dans la mémoire de mon ordinateur pour la formation de tout type de modèle de régression. Chaque échantillon de l'ensemble de données est une matrice 4d. Vous pouvez aplatir l'échantillon en tant que vecteur, mais la dimension de ce vecteur est plus grande. Y a-t-il une méthode qui peut être utilisée pour réduire la dimension de mon échantillon pour former un modèle de régression linéaire?

Answer 1

Je suggère d'essayer ce qui suit comme test, puisque vous utilisez un modèle linéaire. Ceci est une étape vers une solution finale, et devrait vous donner une idée de ce à quoi la solution finale pourrait ressembler.

Filtrez les données pour obtenir des valeurs max, min et median pour chaque dimension. Cela devrait produire un ensemble de données de calcul d'une taille raisonnable, et faire des régressions sur cet ensemble de données plus petit vous donnera une idée pratique des paramètres de la solution finale.