comment changer __consumer_offsets cleanup plicy pour supprimer du compact?

Question

Je KAFKA clusters avec 3 nœuds, dans le répertoire de kafka journal ont __consumer_offsets-XX, beaucoup de fichiers journaux que 100 Mo utilisés par lieu de disque à plus de 90%, commande excutes:

./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name __consumer_offsets --entity-type topics 

Configs pour thèmes: __consumer_offsets sont:

segment.bytes=104857600,cleanup.policy=compact,compression.type=producer 

Cette politique de nettoyage de sujet est compacte, comment modifier pour supprimer?

Answer 1

Cette rubrique est un sujet système pour kafka. Deux politiques de nettoyage lui sont appliquées: compaction et delete (offsets.retention.minutes).

Si vous voulez diminuer la taille de ce sujet:

1. changement segment.bytes à plus petite quantité (de offsets.topic.segment.bytes de PARAM)
2. la politique de rétention de réduction pour les groupes de consommateurs inutilisés (compensations param .retention.minutes)
3. essayer de diminuer quantité de partitions pour ce sujet (offsets.topic.num.partitions param)