vegan :: vegdist: Erreur en double (N * (N - 1)/2): la taille de vecteur spécifiée est trop grande

Question

J'ai quelques problèmes avec la fonction vegdist. Je veux calculer une matrice de distance avec jaccard. J'ai des données binaires. Le problème est que j'ai une matrice de 138037 lignes (sites) et 89 colonnes (espèces). mon script est:

library("vegan") 
memory.limit(size = 100000) # it gives 1 Tera from HDD in case ram memory is over 
DF=as.data.frame(MODELOS) 
DF=na.omit(DF) 
DISTAN=vegdist(DF[,2:ncol(DF)],"jaccard") 

Ou plus reproductible:

nsites <- 138037 
nspp <- 89 
DF <- matrix(0,nrow=nsites,ncol=nspp) 
DISTAN=vegdist(DF,"jaccard") 

Presque immédiatement produit l'erreur:

Error in double(N * (N - 1)/2) : vector size specified is too large 

Je pense que cette erreur de mémoire, mais je ne pas savoir pourquoi si j'ai un PC avec 32 Go de RAM et 1 Tera de disque dur.

J'essaie aussi de faire une matrice dist avec la fonction dist de proxy package:

library(proxy) 
vector=dist(DF, method = "Jaccard") 

il commence à courir, mais quand il arrive à 10 Go de RAM, une fenêtre annonce que R a commis une erreur et il se ferme, donc il se ferme et commence une nouvelle section. Je ne sais vraiment pas ce qui se passe et moins comment résoudre cela, quelqu'un peut-il m'aider?

Answer 1

N <- 138037; log10(N*(N-1)/2) montre que vous essayez de calculer un objet dist avec 10^9.98 = presque 10^10 (10 milliards) d'éléments distincts. La version publiée de R ne peut gérer que des objets avec moins de 2^31-1 éléments (log10(2^31-1)=9.3), quelle que soit la quantité de mémoire disponible. Cette restriction est assouplie dans the development version of R (recherche de "LONG VECTEURS"); voir aussi Max Length for a Vector in R. La plus grande question, cependant, est: qu'est-ce que vous prévoyez réellement faire avec une matrice de distance avec 10 milliards d'éléments distincts ??? Si vous expliquez un peu plus sur le contexte de ce que vous essayez de faire, vous pourriez obtenir des réponses plus utiles (c'est-à-dire non seulement «pourquoi cela arrive-t-il?», Mais «que puis-je faire? Sans plus de contexte, tout ce que je peux dire est "essayez de passer à la version de développement de R et voyez si ça aide" (mais ça ne l'est pas, les longs vecteurs ne sont pas supportés dans tous les aspects de R et surtout pas dans ou sources FORTRAN).

Je ne sais pas pourquoi le proxy::dist donne un comportement d'erreur différent.