1. Accueil
  2. Question et réponse
  3. Comment changer la version python dans le cahier apache toree pyspark?

Comment changer la version python dans le cahier apache toree pyspark?

2017-07-01 2 views
0

J'utilise Apache Toree pour Pyspark Notebook. J'avais anaconda 3.5 et hub jupyter installé sur les machines Unix. Quand j'appelle pyspark du cahier de Jupyter cela commence par Python 2.7 au lieu d'Anaconda 3.5.Comment changer la version python dans le cahier apache toree pyspark?

Demander votre aide pour changer la version python.

Veuillez voir que j'avais déjà essayé de changer la version python via os.environ mais cela n'a pas fonctionné.

enter image description here

Source

2017-07-01 Tanveer

+0

Comment avez-vous installé Toree? Vous spécifiez l'environnement Python lorsque vous le configurez –

+0

d'abord installé via pip. Il a été installé à Anaconda. Puis jupyter toree installer. – Tanveer

+0

Merci. Installation d'un nouveau noyau avec chemin d'accès à la maison et python. jupyter toree install --spark_home = "chemin de l'étincelle" --nom_kernel = tanveer_kernel1 --interpreters = PySpark, SQL --python = "chemin_python" – Tanveer

Répondre

0

Suivi ci-dessous pour configurer les étapes Toree avec Python-3:

  1. installer un nouveau noyau avec la maison étincelle et le chemin de python.

    jupyter Toree installer --spark_home = "spark_path" --kernel_name = tanveer_kernel1 --interpreters = PySpark, SQL --python = "python_path"

    1. Après avoir fait ci-dessus, il étaient des problèmes avec la version Driver Python et la version Executor Python. Version corrigée Python dans spark-env.sh en ajoutant

    export PYSPARK_PYTHON = "/ usr/lib/anaconda3/bin/python" export PYSPARK_DRIVER_PYTHON = "/ usr/lib/anaconda3/bin/python"

    1. Services d'étincelles redémarrés.

Source

2017-07-04 07:43:07 Tanveer

 Questions connexes

  • Aucun problème connexe^_^