Affectez manuellement le nombre de cœurs lorsque l'allocation dynamique est définie sur

Question

Nous avons un cluster à 3 nœuds. Chaque nœud a 20 cœurs et 100 Go de mémoire. L'allocation dynamique des ressources est définie sur true.

Je veux ajuster les ressources selon mon souhait.

Par exemple:

1. spark-submit à utiliser seulement une base. Par défaut, il sélectionne 4-6 cœurs.
2. Je veux définir ceci pour chaque étincelle-soumettre que je cours.

Comment puis-je satisfaire à mes exigences?

Answer 1

spark.dynamicAllocation.enabled est une propriété d'une application. Il peut être défini sur chaque soumission en utilisant l'un des éléments suivants:

• Passer l'option --conf à Spark submit.
• Paramètre spark.dynamicAllocation.enabled sur SparkConf objet.
• En utilisant la méthode config de SparkSessionBuilder.