Log4j dans spark2-shell

Question

J'utilise l'un des scripts spark à travers l'option spark2-shell -i.

Je souhaite rediriger les journaux générés vers un fichier à l'aide de la structure log4j.

commandement que je courais:

spark2-shell --master yarn --deploy-mode client -i audit.scala --conf spark.driver.args="PROD sample.txt" --files /bigdata/datalakes/app/log/log4j.properties#log4j.properties --conf spark.driver.extraJavaOptions='-Dlog4j.configuration=file:/bigdata/datalakes/app/log/log4j.properties' 

Et voici le contenu de /bigdata/datalakes/app/log/log4j.properties:

# Root logger option 
    log4j.rootLogger=INFO, file 
    # Direct log messages to a log file 
    log4j.appender.file=org.apache.log4j.RollingFileAppender 
    #Redirect to Tomcat logs folder 
    #log4j.appender.file.File=/bigdata/datalakes/app/log/spark.log 
    log4j.appender.file.File=/bigdata/datalakes/app/log/spark.log 
    log4j.appender.file.MaxFileSize=10MB 
    log4j.appender.file.MaxBackupIndex=10 
    log4j.appender.file.layout=org.apache.log4j.PatternLayout 
    log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n 

Answer 1

Vous pouvez fournir ce que l'option de configuration pour déclencher.

--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=/bigdata/datalakes/app/log/log4j.properties" 

--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=/bigdata/datalakes/app/log/log4j.properties" 

En espérant que cela aide.

À la votre!