J'ai une application Kafka Streams qui prend des données de quelques sujets et joint les données et les met dans un autre sujet.Kafka Stream retraitement anciens messages sur le rééquilibrage
Kafka Configuration:
5 kafka brokers
Kafka Topics - 15 partitions and 3 replication factor.
Je cours Kafka Streams applications sur les mêmes machines où mes Kafka courtiers sont en cours d'exécution.
Quelques millions d'enregistrements sont consommés/produits toutes les heures. Chaque fois que je prends un courtier kafka, il va dans le rééquilibrage après rééquilibrage plusieurs fois, il commence à consommer des messages très anciens. Remarque: Lorsque l'application Kafka Streams fonctionnait correctement, le décalage était proche de 0. Mais après le rééquilibrage, le décalage est passé de 0 à 10 millions.
Peut-être à cause de offset.retention.minutes .
journal de Kafka Broker & politique de rétention offset:
log retention policy : 3 days
offset.retention.minutes : 1 day
Parce que je lis dans le lien ci-dessous que cela pourrait être la cause:
Offset Retention Minutes reference
Toute aide dans ce serait apprécié.
Quand le décalage est-il validé si auto.commit.offset.enable = false? Dois-je définir auto.commit.enable = true? cela aura-t-il un impact? –