Configuration du sujet Kafka Connect distribuée

Question

J'ai eu le problème que ma configuration de travail Kafka Connect a été perdue après le redémarrage d'un nœud. (http://broker:port/connectors/ -> tableau vide)

Maintenant, je pense qu'il peut avoir quelque chose à voir avec la config "retention.ms". Parce que la config de connexion est également stockée dans le "config.storage.topic" et sera supprimée après "retention.ms"? Je dois donc définir un très haut "retention.ms". Est-ce correct ou est-ce géré automatiquement par Kafka? (Au cas où vous créez le sujet vous-même)

Que diriez-vous des deux autres sujets: status.storage.topic - seulement l'état actuel des informations, pas si important? offset.storage.topic

Answer 1

Oui, cela pourrait être. Les champs "config.storage.topic", "status.storage.topic" et "offset.storage.topic" doivent tous être configurés avec "cleanup.policy = compact" (il s'agira de "supprimer" par défaut) . Avec cette politique, le temps de rétention n'aura aucun effet - nous garderons toujours la dernière configuration pour chaque connecteur.