L'application Spark remplace les paramètres de configuration yarn-site.xml

Question

Je dois remplacer un paramètre de configuration de fil dans yarn-site.xml lorsque je soumets une application Spark. Puis-je le passer comme un paramètre supplémentaire à saprk-submit?

Le paramètre que je veux remplacer est yarn.nodemanager.vmem-check-enabled

Answer 1

Vous pouvez utiliser --conf tout en soumettant le travail avec étincelle soumettre

--conf "yarn.nodemanager.vmem-check-enabled" 

Ou vous pouvez également définir dans votre programme avec le code comme SparkSession.conf.set

De la doc

Configuration pour une application Spark. Permet de définir divers paramètres Spark en tant que paires clé-valeur.

La plupart du temps, vous devez créer un objet avec SparkConf nouvelle SparkConf(), qui charge les valeurs de toute étincelle. * Propriétés système Java définies dans votre application aussi bien. Dans ce cas, les paramètres définis directement sur l'objet SparkConf sont prioritaires sur les propriétés système . Pour les tests unitaires, vous pouvez également appeler le nouveau SparkConf (false) pour ignorer le chargement des paramètres externes et obtenir la même configuration, quelles que soient les propriétés système du .

Toutes les méthodes Setter de cette classe prennent en charge le chaînage. Par exemple, vous pouvez écrire une nouvelle SparkConf(). SetMaster ("local"). SetAppName ("Mon application").