La classe n'est pas un travail d'étincelle et nous passons les propriétés via SparkFiles également lors de l'utilisation SparkFiles.get un fichier sur le pilote dans le fil-client ou fil- cluster, signalera l'exception de fichier introuvable.classe n'est pas un travail d'étincelle et nous passons les propriétés via SparkFiles
package xx.xxx.meatadata.ConfigurationParser
class FileValidatorConfiguration (confStr:String) extends ConfigurationValidator (confStr) {
override val path="FileEvalutor"
//necessary fields
override val keys=Set("IN_FILE_LOCATION","IN_PROGRESS_FILE_LOCATION","REJECT_FILE_LOCATION","FILE_NAME_EXTRACT","TARGET_FILE_NAME")
lazy val FS_PREFIX = getValue("FS_PREFIX").getOrElse("")
lazy val IN_FILE_LOCATION=FS_PREFIX+getValue("IN_FILE_LOCATION").getOrElse("")
lazy val IN_PROGRESS_FILE_LOCATION=FS_PREFIX+getValue("IN_PROGRESS_FILE_LOCATION").getOrElse("")
lazy val REJECT_FILE_LOCATION=FS_PREFIX+getValue("REJECT_FILE_LOCATION").getOrElse("")
lazy val PERIOD=getValue("PERIOD").getOrElse("")`enter code here`
lazy val SOURCE=getValue("SOURCE").getOrElse("")
lazy val FILE_NAME_EXTRACT=getValue("FILE_NAME_EXTRACT").getOrElse("")
lazy val TARGET_FILE_NAME=getValue("TARGET_FILE_NAME").getOrElse("")
lazy val SUBJECT=getValue("SUBJECT").getOrElse("")
}
est pas un travail d'étincelle et nous passsing les propriétés via SparkFiles qui est à l'origine l'exception
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" java.lang.NullPointerException
at org.apache.spark.SparkFiles$.getRootDirectory(SparkFiles.scala:37)
Quelqu'un pourrait-il aider?