1

Comment puis-je produire et consommer des messages provenant de différents serveurs? J'ai essayé le didacticiel Quickstart, mais il n'y a pas d'instructions sur la configuration pour les clusters multi-serveurs.Consommation et production de messages Kafka sur différents serveurs

Mes étapes
serveur A
1) bin/zookeeper-server-start.sh config/zookeeper.properties
2) bin/kafka-server-start.sh config/server.properties
3) bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
4) bin/kafka-console-producer.sh --broker-list SERVER-a.IP:9092 --topic test

serveur B
1A) bin/kafka-console-consumer.sh --bootstrap-server SERVER-a.IP:9092 --topic test --from-beginning
1B) bin/kafka-console-consumer.sh --bootstrap-server SERVER-a.IP:2181 --topic test --from-beginning

Lorsque je cours 1A) consommateur et entrez des messages dans le producteur, il n'y a pas de messages apparaissant dans le consommateur. C'est juste vide.
Lorsque je cours 1B consommateur à la place, je reçois un énorme & flux très rapide de journaux d'erreurs dans le serveur A jusqu'à ce que je Ctrl + C le consommateur. Voir ci-dessous
journal d'erreur sur le serveur A en continu à des centaines par seconde
WARN Exception causing close of session 0x0 due to java.io.EOFException (org.apache.zookeeper.server.NIOServerCnxn)
O Closed socket connection for client /188.166.178.40:51168 (no session established for client) (org.apache.zookeeper.server.NIOServerCnxn) Merci

Répondre

0

Oui, si vous voulez avoir votre producteur sur le serveur A et votre client sur le serveur B, vous sont dans la bonne direction.

Vous devez exécuter un courtier sur le serveur A pour le faire fonctionner.

bin/kafka-server-start.sh config/server.properties 

Les autres commandes sont correctes.

+0

merci pour votre commentaire. J'ai ajouté mon explication complète du problème dans ma question. Peut obtenir votre aide voir où est le problème. Merci. –

+0

Je pense que le problème pour 1B) est que vous ne pouvez pas exécuter un consommateur avec l'adresse de zookeeper pour l'option '--bootstrap-server'. C'est pourquoi vous obtenez ces erreurs. Concernant 1A), j'ai parfois été confronté à ce problème. Jetez un oeil à ce post: http://stackoverflow.com/a/43092572/5035392. Cela pourrait résoudre votre problème. – ImbaBalboa

+0

En outre, essayez cette commande pour le producteur: 'bin/kafka-console-consumer.sh --zookeeper SERVER-a: 2181 --à partir de - début - test de sujet' – ImbaBalboa