Comment mesurer le temps pris pour le rééquilibrage de kafka?

Question

Je suis très nouveau à Kafka. Donc, cette question pourrait être très basique. Ce que j'essaye de réaliser est de trouver le temps qu'il faut pour rééquilibrer quand un courtier échoue et est alors rajouté. De ma lecture de la documentation (http://kafka.apache.org/documentation/#basic_ops_restarting). Lorsqu'un courtier échoue ou est pris en maintenance

• It will sync all its logs to disk to avoid needing to do any log recovery when it restarts (i.e. validating the checksum for all messages in the tail of the log). Log recovery takes time so this speeds up intentional restarts.

• It will migrate any partitions the server is the leader for to other replicas prior to shutting down. This will make the leadership transfer faster and minimize the time each partition is unavailable to a few milliseconds.

Ce que je veux faire est de trouver le temps nécessaire pour migrate any partitions that the server is the leader for to other replicas

Mon kafka La configuration est de 3 nœuds de courtier et de 3 nœuds zk.

De plus, lorsque j'ajoute ce noeud à la propriété de auto.rebalance=true, le rééquilibrage entre de nouveau et il réélit un leader. Comment mesurer ce temps aussi?

Answer 1

Il n'y a pas de "migration" comme dans la copie de données. En fermant proprement un courtier, le contrôleur choisira simplement un nouveau chef parmi les répliques disponibles pour toutes les partitions dont le courtier était le chef de file, ce qui accélérera la transition.

Il existe quelques indicateurs sur lesquels vous pouvez surveiller les élections des leaders. Depuis 0.11.0.0, le courtier présente un certain nombre de mesures de commande comprenant:

kafka.controller:type=ControllerStats,name=AutoLeaderBalanceRateAndTimeMs 

Cela suit la vitesse et la durée du rééquilibre leader de l'automobile. La liste complète des paramètres du contrôleur qui ont été ajoutés à 0,11 est disponible dans le KIP: https://cwiki.apache.org/confluence/display/KAFKA/KIP-143%3A+Controller+Health+Metrics#KIP-143:ControllerHealthMetrics-ControllerMetrics

Si vous utilisez une version plus ancienne (< 0.11.0.0), vous devrez compter sur des paramètres tels que:

kafka.controller:type=ControllerStats,name=LeaderElectionRateAndTimeMs 

Ceci inclut toutes les élections de dirigeants.