ne peut pas trouver le module

Question

'graphframes' Quand je entrée dans la ligne de commande:

pyspark --packages graphframes: graphframes: 0.2.0-spark2.0-s_2.11

il fonctionnera bien. Mais quand je veux utiliser ipython pour lancer mon paquet pyspark et utiliser des graphframes, ça ne marche pas.

Quand je entrée dans la ligne de commande:

PYSPARK_DRIVER_PYTHON = ipython pyspark --packages graphframes: graphframes: 0.2.0-spark2.0-s_2.11

l'erreur est la suivante: ne peut pas trouver le module « graphframes »

Answer 1

Manque de compatibilité Python 3 des paquets Spark is a known bug dans graphframes 0.2.0 qui a été résolu en 0.3.0.

--packages graphframes:graphframes:0.3.0-spark2.0-s_2.11