Comment passer le fichier de configuration log4j à spark-submit sur Windows?

J'essaie de lancer un travail d'étincelle dans Windows en utilisant spark-submit. L'application Spark fonctionne correctement sans spécifier les options de journalisation.Comment passer le fichier de configuration log4j à spark-submit sur Windows?

Avec la --driver-java-options suivante:

--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties"

Je reçois le message d'erreur:

Le système ne peut pas trouver le chemin d'accès spécifié.

J'ai essayé de nombreuses combinaisons mais pas de chance, s'il vous plaît aviser.

spark-submit --master local[*] --files D:\launch\log4j-spark.properties --jars D:\launch\spark-sql-kafka-0-10_2.10-2.1.0.jar \ 
--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties" \ 
--class com.acheron.bi.pipeline.DataPipelineProcessor D:\launch\bi-master-pipeline-1.0-SNAPSHOT-jar-with-dependencies.jar 

--driver-java-options "-Dlog4j.configuration=file://./launch/log4j-spark.properties" \ 
--driver-java-options "-Dlog4j.configuration=log4j-spark.properties" \

ci-dessous est le dossier contenant le code

D:\launch>dir 
Volume in drive D is Data 
Volume Serial Number is 52DE-C096 

Directory of D:\launch 

10/20/2017 10:06 AM <DIR>   . 
10/20/2017 10:06 AM <DIR>   .. 
10/20/2017 09:46 AM  111,631,778 bi-master-pipeline-1.0-SNAPSHOT-jar-with-dependencies.jar 
10/20/2017 09:35 AM    1,394 event-win.yml 
10/20/2017 09:58 AM    483 log4j-spark.properties 
10/19/2017 01:19 PM    488 prod.env.properties 
09/07/2017 09:35 AM   232,649 spark-sql-kafka-0-10_2.10-2.1.0.jar 
       5 File(s) 111,866,792 bytes 
       2 Dir(s) 152,071,843,840 bytes free

Source

2017-10-20 Manjesh

Pouvez-vous montrer le chemin en utilisant cmd? Utilisez 'dir'. C'est pour s'assurer que le fichier est là (je suis sur macOS donc je vais deviner le format). Pouvez-vous essayer 'fichier:/D:/launch/log4j-spark.properties'? –

Je mettre à jour la question avec les détails du répertoire, et le fichier:/D: /launch/log4j-spark.properties n'a pas aidé – Manjesh

Pouvez-vous montrer le message d'erreur entier avec 'spark-submit'? –

Je suis en mesure d'exécuter Windows cmd et démarrer avec succès l'application d'allumage avec la commande suivante et avec mon habitude my-log4j.properties.

Si vous ne disposez pas d'espaces blancs dans votre chemin vers log4j.properties vous pouvez omettre les citations:

spark-submit.cmd --master local[*] --driver-java-options -Dlog4j.configuration=file:///c:/tools/spark-2.0.0-bin-hadoop2.7/bin/my-log4j.properties --class testjob.Main sparkjob.jar

Source

2017-10-21 10:18:17 VladoDemcak

Comment passer le fichier de configuration log4j à spark-submit sur Windows?

Répondre

Questions connexes