MetricBeat - Le metricset du groupe de consommateurs de Kafka n'envoie aucune donnée?

Question

J'ai couru ZooKeeper et simple courtier Kafka et je veux obtenir des mesures avec MetricBeat, indexez-le avec ElasticSearch et afficher avec Kibana. Cependant, MetricBeat ne peut obtenir des données que de partition metricset et rien ne provient de consumergroup metricset.

Depuis kafka module est défini comme périodique dans metricbeat.yml, il devrait envoyer des données sur son propre, pas seulement attendre l'interaction des utilisateurs (par exemple - écrire au sujet)? Pour m'assurer, j'ai essayé de créer un groupe de consommateurs, d'écrire et de consommer du sujet, mais toujours aucune donnée n'a été collectée par consumergroup metricset. Est défini dans metricbeat.template.json et metricbeat.template-es2x.json.

Alors que metricbeat.full.yml est complètement commenté off, ceci est mon metricbeat.yml kafka définition du module:

- module: kafka 
    metricsets: ["partition", "consumergroup"] 
    enabled: true 
    period: 10s 

    hosts: ["localhost:9092"] 

    client_id: metricbeat1 
    retries: 3 
    backoff: 250ms 

    topics: [] 

Dans /logs annuaire des MetricBeat, des lignes comme celle-ci apparaissent:

INFO Non-zero metrics in the last 30s: 
libbeat.es.published_and_acked_events=109 
libbeat.es.publish.write_bytes=88050 
libbeat.publisher.messages_in_worker_queues=109    
libbeat.es.call_count.PublishEvents=5 
fetches.kafka-partition.events=106 
fetches.kafka-consumergroup.success=2 
libbeat.publisher.published_events=109 
libbeat.es.publish.read_bytes=2701 
fetches.kafka-partition.success=2 
fetches.zookeeper-mntr.events=3 
fetches.zookeeper-mntr.success=3 

Avec mntr de ZooKeeper et Kafka partition, je peux voir events= et success= valeurs, mais pour consumergroup il n'y a que success. Il semble qu'aucun événement n'est déclenché.

partition et mntr les données sont correctement visibles dans Kibana, tandis que consumergroup est manquant.

Les données stockées dans ElasticSearch ne sont pas lisibles à l'œil nu, certaines chaînes internes sont utilisées pour les noms de répertoire et les journaux ne contiennent aucune information utile.

Quelqu'un peut-il m'aider à comprendre ce qui se passe et à le réparer (probablement MetricBeat) pour envoyer des données à ElasticSearch? Merci :)

Answer 1

Vous devez avoir un consommateur actif consommant hors des rubriques, pour être en mesure de générer des événements pour consumergroup metricset.