Surveiller kafka avec Prometheus et Grafana

Question

J'ai suivi les étapes ci-dessous pour surveiller kafka avec Prométhée et Grafana.

port JMX ne s'ouvre

wget http://ftp.heanet.ie/mirrors/www.apache.org/dist/kafka/0.10.1.0/kafka_2.11-0.10.1.0.tgz 
tar -xzf kafka_*.tgz 
cd kafka_* 

wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.6/jmx_prometheus_javaagent-0.6.jar 
wget https://raw.githubusercontent.com/prometheus/jmx_exporter/master/example_configs/kafka-0-8-2.yml 

./bin/zookeeper-server-start.sh config/zookeeper.properties & 
KAFKA_OPTS="$KAFKA_OPTS -javaagent:$PWD/jmx_prometheus_javaagent-0.6.jar=7071:$PWD/kafka-0-8-2.yml" 
./bin/kafka-server-start.sh config/server.properties & 

Puis j'ai le vérifié avec curl http://localhost:7071/metrics dans le terminal

il rend compte curl: (7) Failed connect to localhost:7071; Connection refused

Actuellement, j'ai ouvert tous mes ports à mon réseau le serveur.

tout en im vérifiant avec netstat -tupln | grep LISTEN numéro de port 7071 ne figurait pas dans la sortie

Le dessous est le contenu de ce répertoire de kafka:

drwxr-xr-x. 3 root root 4096 Aug 23 12:22 bin 
drwxr-xr-x. 2 root root 4096 Oct 15 2016 config 
-rw-r--r--. 1 root root 20356 Aug 21 10:50 hs_err_pid1496.log 
-rw-r--r--. 1 root root 19432 Aug 21 10:55 hs_err_pid2447.log 
-rw-r--r--. 1 root root 1225418 Feb 5 2016 jmx_prometheus_javaagent-0.6.jar 
-rw-r--r--. 1 root root 2824 Aug 21 10:48 kafka-0-8-2.yml 
drwxr-xr-x. 2 root root 4096 Aug 21 10:48 libs 
-rw-r--r--. 1 root root 28824 Oct 5 2016 LICENSE 
drwxr-xr-x. 2 root root 4096 Oct 11 15:05 logs 
-rw-------. 1 root root 8453 Aug 23 12:08 nohup.out 
-rw-r--r--. 1 root root  336 Oct 5 2016 NOTICE 
drwxr-xr-x. 2 root root  46 Oct 15 2016 site-docs 

kafka est en cours d'exécution dans le port 2181 et Zookeeper est en cours d'exécution aussi

Answer 1

Si vous ne me dérange pas d'ouvrir le port JMX, vous pouvez aussi le faire comme ceci:

export JMX_PORT=9999 
export KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.rmi.port=9999' 
./bin/kafka-server-start.sh config/server.properties & 
java -jar jmx_prometheus_httpserver-0.10-jar-with-dependencies.jar 9300 kafka-0-8-2.yaml & 

Le jar-with-dependencies vous construisez à partir du source avec mvn package.