Comment écrire de gros rasters dans une table ou une base de données en utilisant R?

Question

J'ai plusieurs gros rasters au format GeoTIFF.

Les dimensions sont 34565, 116908, 4 040 925 020 (nrow, ncol, Ncell) de chaque (recouvrement parfait), les valeurs sont de différents types: entier, flotteur ...

Comment puis-je écrire ces raster valeurs dans une table ou une base de données en utilisant R (ou un autre logiciel), donc plus tard je peux l'analyser en utilisant Spark, python ou R?

je vais devoir traiter plusieurs rasters, donc la table idéalement sortie ressembler à:

row  column  raster1.value raster2.value raster3.value 
1  1   56    76    100 
1  2   18    45    89 
...  ...  ...   ...   ... 

34656 116908  23    39    43 

j'évaluer dans le calcul de l'installation avec 32 cœurs et 128 Go de RAM. Ainsi, le calcul parallèle est également possible.

Je serai très reconnaissant pour votre aide!

Answer 1

#Load libs 
library(doParallel) 
library(parallel) 
library(foreach) 
library(data.table) 

Supposant vous n rasters, situé dans myras/,

#List of paths to rasters 
raspaths <- list.files('myras', pattern='.tif$', full.names=T) 

#Register cluster for parallel processing: Cores to use: all except 1 
cl <- makeCluster(detectCores() - 1) 
registerDoParallel(cl, cores=detectCores() - 1) 

#Raster to datatable in parallel: one raster per thread 
dtlist <- foreach (ras_id=raspaths, .packages=c('raster', 'data.table'), .combine='c') %dopar% { 

      #Read all rasters into one big stack 
      ras <- raster(ras_id) 

      #get column and row indices 
      ridx <- rowFromCell(object=ras, cell=1:ncell(ras)) 
      cidx <- colFromCell(object=ras, cell=1:ncell(ras)) 

      #Convert to data.frame then to data.table (slowest part, perhaps someone here knows a better way?) 
      dt <- data.table(as.data.frame(ras)) 

      #Set key 
      setkey(dt) 

      #Add row and column info 
      dt[, c('row', 'column'):=list(ridx, cidx)] 

      #Some column ordering 
      setcolorder(x=dt, c("row", "column", names(dt)[1])) 
      list(dt) 
} 
stopCluster(cl) 

#Bind all per-raster datatables into one big table 
big_dt <- rbindlist(dtlist, fill=T, use.names=T) 

#Write to disk as comma separated text file which can then be read into any Database e.g. Postgresql 
write.csv(x=dt, file='mybigtable.csv', row.names=F) 

écriture à csv comme l'étape finale n'est pas la seule option. Avec RPostgresql, vous pouvez également exporter "big_dt" directement dans une relation dans une instance postgres locale ..