Le spark documentation montre comment un paquet d'allumage peut être ajouté:Comment ajouter des paquets spark au cahier Spark R sur DSX?
sparkR.session(sparkPackages = "com.databricks:spark-avro_2.11:3.0.0")
Je crois que ce ne peut être utilisé lors de l'initialisation de la session.
Comment pouvons-nous ajouter des paquets d'étincelles pour SparkR en utilisant un ordinateur portable sur DSX?
Veuillez utiliser le gestionnaire de paquets pixiedust pour installer le paquet avro.
pixiedust.installPackage("com.databricks:spark-avro_2.11:3.0.0")
http://datascience.ibm.com/docs/content/analyze-data/Package-Manager.html
installer depuis python 1.6 noyau depuis pixiedust est importable en python. (Rappelez-vous ceci est d'installer à votre niveau de l'instance d'allumage). Une fois installé, redémarrez le noyau puis passer à noyau R et lisez le Avro comme ceci: -
df1 <- read.df("episodes.avro", source = "com.databricks.spark.avro", header = "true")
head(df1)
Notebook complet: -
https://github.com/charles2588/bluemixsparknotebooks/raw/master/R/sparkRPackageTest.ipynb
Merci, Charles.