Le message a été tronqué dans Apache Kafka

Question

Je suis nouveau dans kafka, j'ai installé kafka 10 avec les configs par défaut sur local. Maintenant, je suis confronté à un problème. Je produis un message du producteur de la console. Si le message est d'environ 4096 octets. Ensuite, il est consommé très bien à partir du consommateur de la console. Mais quand j'augmente la taille du message à partir de 4096 Bytes.Then, en consommant le message est tronqué à environ 4096 Bytes. Je ne reçois pas le problème.

Que se passe-t-il? a) Le message est-il publié incomplètement? b) Le message est-il consommé incomplètement?

Remarque: Je n'ai pas modifié les paramètres par défaut et j'utilise le producteur et le consommateur de la console.

S'il vous plaît aider quelqu'un

Answer 1

Peut être le problème se produit parce que vous utilisez le producteur de console et copiez le message au terminal (linux) mais le message tronqué tronqué de terminal à une longueur fixe maximale.

Answer 2

Vous avez probablement besoin d'affiner la configuration de votre courtier. Vérifiez cette page: https://kafka.apache.org/documentation/#brokerconfigs

Recherchez offset.metadata.max.bytes. La valeur par défaut est 4096. Définissez cette valeur sur quelque chose de plus grand que 4096. Si cela ne fonctionne pas, recherchez d'autres configurations. Votre problème n'utilise probablement pas une configuration correcte.