Comment activer les mesures ExecutorAllocationManagerSource dans Apache Spark?

Question

La documentation sur l'activation des paramètres généraux dans Spark Apache est une sorte de fin:

Dans une instance, une « source » spécifie un ensemble de mesures regroupées. Il existe deux types de sources:

Spark sources internes, comme MasterSource, WorkerSource, etc, qui permettra de recueillir l'état interne d'un composant Spark. Chaque instance est associée à une source Spark ajoutée automatiquement.

Sources communes, comme JvmSource, qui collectent l'état bas niveau. Ceux-ci peuvent être ajoutés via les options de configuration et sont ensuite chargés en utilisant la réflexion.

Tous les exemples sont de la forme:

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource 

Cependant, aucune des variations plausibles sur ce semblant m'a permis de publier les indicateurs générés La classe est pas ExecutorAllocationManagerSource

unité testée, et je ne trouve pas d'autres documents ou exemples. En fait, ces métriques sont publiées sans configuration spéciale pour ExecutorAllocationManagerSource

Answer 1

Cependant, ils ne se manifestent que si les chemins de code pertinents sont actifs. Dans ce cas, cela signifie l'allocation dynamique des exécuteurs.

Mon cluster avait été configuré par erreur sans allocation d'exécuteur dynamique. Lorsque cette option est activée, ces métriques sont publiées sous les métriques du pilote, sans configuration particulière.