0
Exécutez une application spark qui utilisera les paramètres de configuration d'un fichier.Comment passer des paramètres de configuration d'un fichier en tant que variables d'environnement pour un travail d'étincelle?
fichier: - Spark.conf
username=ankush
password=ankush
host=https://
port=22
outputDirectory=/home/ankush/data/
Comment utiliser ce fichier lors de l'exécution. Au lieu de redémarrer le travail lorsque nous apportons des modifications au fichier de configuration, comment faire en sorte que le travail sélectionne le fichier lors de l'exécution de manière dynamique.
J'ai essayé de l'utiliser avec spark-submit en utilisant --conf spark.yarn.appMasterEnv mais cela ne cherche pas une variable pour un fichier.
Y a-t-il une possibilité de l'implémenter?
Merci d'avance pour votre aide.
Merci de me montrant que. J'ai une question ce sera en mesure de choisir les propriétés à l'exécution. Disons que j'ai défini toutes les propriétés dans conf/spark-defaults.conf après avoir soumis le travail en utilisant spark-submit si je change les propriétés dans conf/spark-defaults.conf cela affectera-t-il l'application spark en cours ou dois-je devez redémarrer l'application pour sélectionner les modifications à partir de conf/spark-defaults.conf. –
En supposant qu'il s'agit d'une même étincelle de longue durée, lorsque le travail démarre, il doit lire une certaine valeur de propriété, alors que le travail doit lire la même propriété mais les mises à jour (un autre programme ou utilisateur a mis à jour ces propriétés exécution) et peut-être un autre ensemble de valeurs à un autre moment pendant l'exécution d'un même travail en cours d'exécution? Est-ce ce que vous voulez? –
oui c'est ce que je cherche. –