Exécution de corrélations dans SparkR: aucune méthode pour contraindre cette classe S4 à un vecteur

Question

J'ai récemment commencé à utiliser SparkR et j'aimerais effectuer une analyse de corrélation avec . Je suis en mesure de télécharger du contenu en tant que SparkR dataframe mais il ne permet pas d'exécuter l'analyse simple cor() avec la trame de données. (Obtention d'une erreur S4 ci-dessous):

usr/local/src/spark/spark-1.5.1/bin/sparkR --packages com.databricks:spark-csv_2.10:1.0.3 

library(SparkR) 

setwd('/DATA/') 

Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.2.0" "sparkr-shell"') 

sqlContext <- sparkRSQL.init(sc) 

df <- read.df(sqlContext, "/DATA/GSE45291/GSE45291.csv", source = "com.databricks.spark.csv", inferSchema = "true") 

results <- cor(as.data.matrix(df), type="pearson") 

data.matrix (df) Erreur dans as.vector (données): aucune méthode pour contraindre cette classe S4 à un vecteur

N'existe-t-il pas de fonction de corrélation intégrée pour SparkR? Comment puis-je corriger l'objet S4 pour qu'il fonctionne dans R, où je peux effectuer des fonctions de base? Toutes les suggestions ont été appréciées. Merci -Rich

Answer 1

Spark < 1,6

Comment puis-je fixer l'objet S4 à travailler dans R où je peux exécuter des fonctions de base?

Vous ne pouvez tout simplement pas. Les trames de données Spark ne remplacent pas la norme R data.frame. Si vous le souhaitez, vous pouvez collecter au R data.frame local, mais la plupart du temps ce ne sera pas une solution réalisable.

Vous pouvez utiliser une fonction personnalisée pour calculer la corrélation entre des colonnes individuelles. D'abord, vous aurez besoin d'un contexte Ruche:

sqlContext <- sparkRHive.init(sc) 

et certaines données factices:

ldf <- iris[, -5] 
colnames(ldf) <- tolower(gsub("\\.", "_", colnames(ldf))) 
sdf <- createDataFrame(sqlContext, ldf) 

Ensuite, vous devez vous enregistrer table temporaire:

registerTempTable(sdf, "sdf") 

Maintenant, vous pouvez utiliser la requête SQL comme ce:

q <- sql(sqlContext, "SELECT corr(sepal_length, sepal_width) FROM sdf") 
head(q) 
##   _c0 
## 1 -0.1175698 

Spark> = 1,6

Vous pouvez utiliser la fonction cor directement sur un DataFrame.