Kafka consommateur retard à travers JMX

J'essaie de surveiller le retard d'un groupe de consommateurs à Kafka 0,10.Kafka consommateur retard à travers JMX

Nos consommateurs gardent une trace de leurs compensations dans Kafka plutôt que ZooKeper. Cela signifie que je peux obtenir les chiffres en utilisant ce qui suit:

bin/kafka-consumer-groups.sh --bootstrap-server <broker> --describe --group <group-name>

Cela fonctionne très bien. Cependant, mon courtier utilise déjà le Prometheus JMX exporter pour collecter un certain nombre de statistiques. J'ai connecté JConsole aux courtiers, mais je ne peux pas voir les mêmes données signalées dans JMX comme indiqué par kafka-consumer-groups.sh.

Est-il possible d'obtenir ces informations de Kafka avec JMX sans ayant besoin d'outils supplémentaires?

Source

2017-10-06 GuessBurger

double possible de [Kafka Consumer - JMX Propriétés] (https://stackoverflow.com/questions/37799564/kafka-consumer-jmx-properties) –

« Kafka: The Definitive Guide "recommande d'utiliser Burrow: https://engineering.linkedin.com/apache-kafka/burrow-kafka-consumer-monitoring-reinvented –

Il semble que ce livre et Burrow partagent un auteur. Y avait-il une raison spécifique pour laquelle Burrow a été suggéré? Nous avons déjà mis en place des outils d'alerte/de surveillance, donc je n'ai pas besoin de cet aspect, mais seulement de l'information sur le retard du consommateur. – GuessBurger

Vous pouvez récupérer les atrributes {topic}-{partition}.records-lag de la métrique kafka.consumer:type=consumer-fetch-manager-metrics,client-id={client-id} pour toutes les partitions. Cela devrait être équivalent à la sortie de consumer-groups.sh

Source

2017-10-09 02:07:10 amethystic

Je ne vois pas de 'kafka.consumer' dans' jconsole'. Je me connecte au courtier via 'jmx' car nous utilisons un consommateur sans JMV. – GuessBurger

Comme mentionné dans les commentaires & "dupliquer" question - ce n'est pas la propriété du courtier JMX, mais –

du consommateur «kafka.cosumer» est seulement sur les clients consommateurs écrits en java ou scala ... ce n'est pas sur les courtiers ... – user2061886

Kafka consommateur retard à travers JMX

Répondre

Questions connexes