L'étincelle intégrée ne fonctionne pas sur crontab

Question

J'utilise Spark par des classes builtin-java sur une seule machine.

J'ai un problème avec crontab pour exécuter spark-submit.

'/user/test.sh'

#! /bin/bash 
export SPARK_HOME=/usr/local/spark 
$SPARK_HOME/bin/spark-submit test.jar 

et 'crontab -e'

45 16 * * * /user/a.sh   >> /user/log/test.log 

Ensuite, 'test.log' est vide.

Une idée?

Answer 1

J'ai résolu ce problème moi-même. J'ai ajouté ci-dessous dans le fichier 'test.sh'.

export PATH = $ PATH: SPARK_HOME $:/app/jdk/bin/

Il peut ne pas avoir été trouver chemin jdk.