Notebook Jupyter avec Apache Spark (Erreur Kernel)

Question

Mon objectif est d'utiliser Jupyter Notebook (IPython) avec Apache Spark. J'utilise Apache Toree pour faire ça. Je mettais la variable d'environnement pour SPARK_HOME et la configuration de l'installation d'Apache Toree avec Jupyter. Tout semble bien.

Quand je lance la commande ci-dessous, un navigateur juypter est ouvert ipython portable --profile = pyspark

Quand je choisis Apache Toree - dans le menu déroulant PySpark, Je ne peux pas coder dans mon carnet et j'ai ce point de vue (Python 2 est OK):

Le bouton rouge donne:

Qu'est-ce qui ne va pas? Aidez-moi, s'il vous plaît ?

Answer 1

Pas vraiment une réponse, mais si vous n'êtes pas accro à toree et avez juste besoin d'une étincelle locale pour apprendre et expérimenter, vous pouvez télécharger une copie d'étincelle, décompressez-la et utilisez ceci au début de votre cahier:

import os 
import sys 

os.environ['SPARK_HOME']="<path where you have extracted the spark file>" 
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python')) 
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'bin')) 
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python/lib/py4j-0.10.4-src.zip')) 

from pyspark import SparkContext,SparkConf 
from pyspark.sql import SQLContext, Row 
import pyspark.sql.functions as sql 


sc = SparkContext() 
sqlContext = SQLContext(sc) 
print sc.version