Toree sur Jupyter pour Spark 2.2.0

OS X El Capitan 10.11.6 
Spark 2.2.0 (local) 
Scala 2.11.8

J'utilise Jupyter via mon installation de anaconda3. Ma compréhension est que la dernière version de production de Toree ne supporte pas Spark 2.0+ ou Scala 11. Cependant, j'ai trouvé plusieurs références (1, 2) où vous pouvez cloner incubator-toree depuis github et définir manuellement la version de Spark.Toree sur Jupyter pour Spark 2.2.0

Dans mon terminal mac, c'est le code que je l'ai utilisé:

git clone https://github.com/apache/incubator-toree 
cd incubator-toree

Ensuite, la ligne make clean release APACHE_SPARK_VERSION=2.2.0 me donne l'erreur suivante:

rm -r dist 
rm: dist: No such file or directory 
make: [clean-dist] Error 1 (ignored) 
APACHE_SPARK_VERSION=2.2.0 VERSION=0.2.0.dev1-incubating IS_SNAPSHOT=true sbt clean 
/bin/sh: sbt: command not found 
make: *** [clean] Error 127

Je cherche des conseils autour cette erreur.

Source

2017-10-14 bshelt141

'SBT: command not found' ... Vous ne l'avez pas pris la peine d'installer' sbt' , as tu? –

Installez les instantanés de développeur à l'aide en exécutant les commandes suivantes

pip install https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gz

Cette version prend en charge les étincelles 2.2.0

Source

2017-10-30 04:32:02 ashwinids

si vous rencontrez un délai d'attente avec cette URL, essayez ceci [Toree] (https://anaconda.org/hyoon/toree). Cela fonctionne pour moi. – jyu

@ashwinids @jyu avez-vous tous eu du mal à exécuter les commandes Spark Scala de base dans Jupyter avec ce noyau? Des choses simples comme '.toDF' et' $ "columnName" 'sont des erreurs de lancement. – bshelt141

Toree sur Jupyter pour Spark 2.2.0

Répondre

Questions connexes