1
J'ai créé un travail pySpark et son fonctionnement parfaitement bien sur la soumission via spark-submit. Maintenant, quand j'ai essayé Oozie son échec. Je doute que les champs que les champs que j'entre ont des problèmes. Ces champs sont requis pour Spark Action dans Oozie.Classe principale pour les travaux PySpark dans OOzie
Spark Master : local
Mode : client
Main class : DO I need to enter anything here as its Python + Spark code (Pyspark)
Jars/py files : My py module
Log Stdout est comme ci-dessous
=================================================================
>>> Invoking Main class now >>>
Fetching child yarn jobs
tag id : oozie-653992fdf1609a2d4e19a863dff21a1
Child yarn jobs are found -
Spark Action Main class : org.apache.spark.deploy.SparkSubmit
Oozie Spark action configuration
=================================================================
--master
local[*]
--deploy-mode
client
--name
POC1L
--verbose
/user/sachinkerala6174/pgm/poc1l.py
=================================================================
>>> Invoking Spark class now >>>
python: can't open file '/user/sachinkerala6174/pgm/poc1l.py': [Errno 2] No such file or directory
Intercepting System.exit(2)
<<< Invocation of Main class completed <<<
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], exit code [2]
Oozie Launcher failed, finishing Hadoop job gracefully
Oozie Launcher, uploading action data to HDFS sequence file: hdfs://ip-172-31-53-48.ec2.internal:8020/user/sachinkerala6174/oozie-oozi/0000509-170711051319609-oozie-oozi-W/spark-fea0--spark/action-data.seq
Oozie Launcher ends