Problème pour obtenir la dernière eau pétillante (2.2) de travailler avec R (via rsparkling)

Question

Je rencontre des problèmes de mise à jour rsparkling pour fonctionner avec Sparkling Water 2.2 et Spark 2.2. Tout a fonctionné avec les versions précédentes (< 2.1).

J'ai installé le paquet rsparkling version R fourni avec les derniers binaires Sparkling Water 2.2 (selon https://h2o-release.s3.amazonaws.com/sparkling-water/rel-2.2/0/index.html), et paramétrez la version eau gazeuse sur l'emplacement d'installation (ie options (rsparkling.sparklingwater.location = "/ Users /me/sparkling-water-2.2.0/ ")).

Je peux maintenant me connecter à mon groupe, mais je reçois une erreur

java.lang.ClassNotFoundException: org.apache.spark.h2o.H2OContext

Je pense que cela peut avoir à faire avec la version h2o J'utilise - 3.14.0.2 qui est la version recommandée dans la page d'installation.

Est-ce que quelqu'un sait quelle version de l'eau gazeuse H2O 2.2 fonctionne? La documentation rsparkling (https://github.com/h2oai/rsparkling) n'est pas mise à jour vers 2.2. Cette erreur pourrait-elle être le résultat d'autre chose?

Je me connecte à un cluster d'allumage autonome, et ma configuration est la suivante:

Cluster/local Spark version: 2.2 
R: 3.4.2 
RStudio: 1.0.153 
Sparklyr: 0.6.2 
h2o: 3.14.0.2 
rsparkling: 2.1 

Answer 1

J'ai rencontré le même problème et je l'ai résolu que d'aligner les versions h2o et eau gazeuse.

1. https://github.com/h2oai/rsparkling montre une table de correspondance de version. Puisque votre h2o est 3.14.0.2, l'étincelle de backend devrait être 2.2.0.
2. https://h2o-release.s3.amazonaws.com/sparkling-water/rel-2.2/2/index.html comporte trois lignes sous le lien de téléchargement qui indique la version spécifiée sur laquelle l'eau pétillante est construite. Par exemple, l'eau gazeuse 2.2.2 correspond à H2O 3.14.0.7. Voici le problème clé: si vous utilisez H2O 3.14.0.6 avec de l'eau pétillante 2.2.2, ou H2O 3.14.0.7 avec de l'eau pétillante 2.2.1, votre erreur sera augmentée.
3. lisez attentivement ces informations et sélectionnez votre solution de téléchargement (choisissez une version parfaitement adaptée entre eau pétillante et H2O, et Spark).

Voici une solution:

Cluster/local version Spark: 2.2 R: 3.4.2 rstudio: 1.0.153 Sparklyr: 0.6.2 h2o: 3.14.0.2 eau gazeuse 2.2.0, téléchargement de https://h2o-release.s3.amazonaws.com/sparkling-water/rel-2.2/0/index.html

## sparkling water 2.2.0 
options(rsparkling.sparklingwater.version = "2.2.0") 
options(rsparkling.sparklingwater.location = "/opt/sparkling-water-2.2.0") 
library(rsparkling) 

## spark version 2.2.0 
sc <- spark_connect(master = "local", version = "2.2.0") 

## connect succeed! 
h2o_context(sc)