Surveillance du cluster kafka dynamique (scale up/down)

Question

Nous utilisons le cluster kafka et nous voulons surveiller ce cluster.

actuelle notre approche:

1. recueillir des métriques JMX (telegraf jolokia plugin ou jmxtrans)
2. magasin en flux
3. rendent via grafana

Mais nous confrontés à problème de configuration statique de kafka liste des courtiers. Nous pouvons configurer uniquement la liste statique via Jmxtrans ou Telegraf jolokia plugin. Nous aimerions une liste dynamique (par exemple, configurez uniquement la connexion kafka cluster zookeeper pour obtenir la liste des courtiers dans chaque itération des métriques de collecte) pour la mise à l'échelle des majuscules/minuscules de kafka.

Peut-être existe-t-il d'autres instruments pour surveiller le cluster kafka dynamique?

Answer 1

Ma enfin solution suivante:

1. plug-in entrée bash personnalisée (parce que je ne veux pas construire propre telegraf avec un plug-in d'entrée aller sur mesure et je sais que vais pas très bien la langue maintenant :))
2. Dans bash plugin zkCli est utilisé pour tous les nœuds kafka découverte
3. Suivant bash script post en vrac jolokia requet à chaque nœud kafka, les agrégats et le format de plugin influx.