Comment intégrer Ganglia pour Spark 2.1 Statistiques de travail, Spark ignorant les métriques de Ganglia

Question

J'essaie d'intégrer les métriques de job de Spark 2.1 à Ganglia.

Mon étincelle default.conf ressemble

*.sink.ganglia.class org.apache.spark.metrics.sink.GangliaSink 
*.sink.ganglia.name Name 
*.sink.ganglia.host $MASTERIP 
*.sink.ganglia.port $PORT 

*.sink.ganglia.mode unicast 
*.sink.ganglia.period 10 
*.sink.ganglia.unit seconds 

Quand je soumets mon travail je peux voir les avertir

Warning: Ignoring non-spark config property: *.sink.ganglia.host=host 
Warning: Ignoring non-spark config property: *.sink.ganglia.name=Name 
Warning: Ignoring non-spark config property: *.sink.ganglia.mode=unicast 
Warning: Ignoring non-spark config property: *.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink 
Warning: Ignoring non-spark config property: *.sink.ganglia.period=10 
Warning: Ignoring non-spark config property: *.sink.ganglia.port=8649 
Warning: Ignoring non-spark config property: *.sink.ganglia.unit=seconds 

Mes coordonnées de l'environnement sont

Hadoop : Amazon 2.7.3 - emr-5.7.0 
Spark : Spark 2.1.1, 
Ganglia: 3.7.2 

Si vous avez toutes les entrées ou toute autre alternative de Ganglia s'il vous plaît répondre.

Answer 1

A partir de cette page: https://spark.apache.org/docs/latest/monitoring.html

Spark also supports a Ganglia sink which is not included in the default build due to licensing restrictions: 

GangliaSink: Sends metrics to a Ganglia node or multicast group. 
**To install the GangliaSink you’ll need to perform a custom build of Spark**. Note that by embedding this library you will include LGPL-licensed code in your Spark package. For sbt users, set the SPARK_GANGLIA_LGPL environment variable before building. For Maven users, enable the -Pspark-ganglia-lgpl profile. In addition to modifying the cluster’s Spark build user 

Answer 2

selon la spark docs

Le système de mesures est configuré via un fichier de configuration Spark attend d'être présent à $ SPARK_HOME/conf/métriques. Propriétés. Un emplacement de fichier personnalisé peut être spécifié via la propriété de configuration spark.metrics.conf.

au lieu d'avoir ces confs dans spark-default.conf, les déplacer vers $SPARK_HOME/conf/metrics.properties