erreur de calcul de la matrice

Question

J'utilise l'outil R pour calculer SVD (svd(m)) et il fonctionne sur une petite matrice mais comme je la passe 20Kx20X matrice. Après le traitement, il donne l'erreur suivante

Error in svd(m) : infinite or missing values in 'x' 

J'ai vérifié et il n'y a pas de ligne ou d'une colonne avec les valeurs 0 et aucun doublon dans la ligne et la colonne . Toutes les colonnes ont des valeurs.

Je ne peux pas passé matrice 20Kx20K ici :(

Answer 1

Je suppose que votre problème n'est pas lié à la taille de la mémoire, bien que je ne sois pas capable de traiter une matrice 20Kx20K sur ma machine mémoire de 4 Go.

La raison de cette conjecture est que la première ligne de code à l'intérieur SVD() est le suivant:

if (any(!is.finite(x))) 
    stop("infinite or missing values in 'x'") 

En d'autres termes, le test de la fonction SVD() d'abord s'il y a des valeurs infinies dans vos données.

Cela se produit avant tout autre traitement.Donc, si vous aviez des problèmes de mémoire, ceux-ci seraient apparents avant même votre appel à svd().

Je vous suggère de vérifier les valeurs infinies:

x <- c(0, Inf, NA, NULL) 
which(!is.finite(x)) 

[1] 2 3 

Cela indique que les deuxième et troisième valeurs sont considérées comme non finie. En d'autres termes, toute valeur NA dans vos données provoquera votre erreur.

Answer 2

Si vous stockez doubles qui sont 8 octets, 20Kx20K signifie 8 * 20 000 * 20 000/1024/1024 ~ 3 Go de RAM pour tenir la chose en mémoire.

Je ne sais pas combien de RAM vous avez disponible, mais je regarde dans ce que R peut faire pour sérialiser la matrice sur le disque au besoin.

est la matrice clairsemée ou bagués? Can vous faites quelque chose pour diminuer la quantité de mémoire dont vous avez besoin?

Quelle est la taille de l'espace nul pour votre matrice? Quel est le numéro de condition (rapport de la valeur propre la plus grande à la plus petite)? Un grand nombre de conditions peut être une indication de difficultés à résoudre. Une matrice n'a pas besoin d'avoir une ligne ou une colonne nulle pour être presque singulière.

MISE À JOUR:

Sur la base de votre commentaire, je dirais que la RAM est le moindre de vos problèmes. On dirait qu'il est possible de garder toute la matrice en mémoire - si vous pouvez tout résoudre. Vous pouvez adresser toute la matrice. Vous utilisez un système d'exploitation 64 bits. Est-ce votre version de R 64 bits également?

Malheureusement, l'un des sous-produits de SVD est d'obtenir la taille de l'espace nul.

Vous pouvez obtenir la valeur propre minimale de votre matrice en utilisant l'itération de Jacobi. Lanczos pourrait être un bon choix pour obtenir le maximum de valeur propre. Ce serait beaucoup de travail pour les obtenir tous; vous voudrez peut-être juste évaluer les cinq plus petites et les plus grandes.

Chaque fois que je rencontre une erreur avec un logiciel, je le colle immédiatement dans une recherche Google. Au moins, il est réconfortant de savoir que je ne suis pas le premier à l'expérience d'un problème particulier:

http://www.google.com/search?sourceid=chrome&ie=UTF-8&q=Error+in+svd(m)+:+infinite+or+missing+values+in+ « x »

Answer 3

Peut-être le calcul de SVD lui-même utilise aussi beaucoup de mémoire. Si on compare avec MATLAB, on voit que le calcul svd alloue autant de mémoire que la matrice elle-même, donc si vous avez déjà 3 Go de mémoire, le calcul svd alloue 3 Go de plus, ce qui donne 6 Go de mémoire.