Pyspark: Erreur lors de l'exécution de la commande Jupyter lors de l'exécution d'un fichier à l'aide de la commande spark-submit

Question

Je peux exécuter pyspark et exécuter un script sur le bloc-notes Jupyter. Mais quand je tente d'exécuter le fichier de terminal à l'aide étincelle présenter, obtenir cette erreur:

Erreur exécution chemin du fichier commande Jupyter [Errno 2] Aucun fichier ou répertoire

peut-elle aider quelqu'un moi quel est le problème avec ma config?

J'utilise Python 2.7 et Spark 1.6

Answer 1

Ce problème se produit parce que vous avez défini jupyter à exécuter le script de pyspark. Maintenant, vous devez désactiver PYSPARK_DRIVER_PYTHON commande de variable pour la même chose est $ unset PYSPARK_DRIVER_PYTHON puis essayez à nouveau soumettre spark-spark ./bin/spark-submit examples/src/main/python/streaming/network_wordcount.py localhost 9999.