mesures Spark: Est-il possible d'ajouter du contenu JSON à un intervalle configurable pour les mesures étincelle

Question

J'utilise des mesures d'allumage comportent dans mon étincelle streaming d'application, je suis déjà ajouter deux sur mesure métrique pour déclencher le système métrique ceux sont

1. événements entrants par seconde: en utilisant Spark compteur
2. événements Nombre traités avec succès: en utilisant contre Spark

Les paramètres ci-dessus sont écrits dans le fichier CSV par le système d'allumage métrique selon la configuration est metrics.properties

Maintenant, mon exigence est d'ajouter une chaîne json à un intervalle spécifié pour déclencher le système métrique.

La sortie j'attends est un fichier CSV qui ont des données quelque chose comme ci-dessous

1, jsonString1

2, jsonString2

ou

jsonString1

jsonString2

S'il vous plaît suggérez Geste un moyen de le faire, j'ai cherché beaucoup, mais n'a pas pu obtenir la réponse que je m'attends

Merci d'avance!

Answer 1

L'exigence ci-dessus peut être obtenue en utilisant une jauge d'étincelle.

Initialiser SparkGuage objet

com.huawei.ccloud.cloudyaf.spark.SparkGauge sparkGauge = org.apache.spark.groupon.metrics.UserMetricsSystem.gauge("samplejsonStringGauge"); 

peut exécuter ci-dessous le code lorsque chaque fois que vous devez enregistrer une chaîne JSON pour déclencher des mesures

sparkGauge.gauge("{\"id\":1,\"name\":\"A green door\",\"price\":12.5,\"tags\":[\"home\",\"green\"]}"); 

Le reste est pris en charge par le système Spark métrique basée sur les configurations dans metrics.properties