filebeat-kafka: WARN producteur/courtier/0 demande maximale accumulée, en attente de l'espace

Question

lorsque les données de sortie filebeat à kafka, il ya beaucoup de message d'avertissement dans le fichier journal de fichiers.

..

*WARN producer/broker/0 maximum request accumulated, waiting for space 

*WARN producer/broker/0 maximum request accumulated, waiting for space 

..

rien de spécial dans ma config filebeat:

..

output.kafka: 

    hosts: ["localhost:9092"] 

    topic: "log-oneday" 

..

j'ai également mis à jour ces jeu de douilles ting kafka:

...

socket.send.buffer.bytes=10240000 

socket.receive.buffer.bytes=10240000 

socket.request.max.bytes=1048576000 

queued.max.requests=1000 

...

mais il ne fonctionne pas.

Y a-t-il quelque chose qui me manque? ou je dois augmenter ce nombre plus grand?

ailleurs, aucune erreur ou exception prévue au serveur kafka journal

est-il un expert a une idée à ce sujet?

merci

Answer 1

Apparemment, vous n'avez qu'une seule partition dans votre sujet. Essayez d'augmenter les partitions pour le sujet. Voir les liens ci-dessous pour plus d'informations.

Plus de partitions mènent à un débit plus élevé

• https://www.confluent.io/blog/how-to-choose-the-number-of-topicspartitions-in-a-kafka-cluster/
• https://kafka.apache.org/documentation/#basic_ops_modify_topic

Essayez la commande suivante (en remplacement des informations avec votre cas d'utilisation particulière):

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic my_topic_name --partitions 40