Comment puis-je produire et consommer des messages provenant de différents serveurs? J'ai essayé le didacticiel Quickstart, mais il n'y a pas d'instructions sur la configuration pour les clusters multi-serveurs.Consommation et production de messages Kafka sur différents serveurs
Mes étapes
serveur A
1) bin/zookeeper-server-start.sh config/zookeeper.properties
2) bin/kafka-server-start.sh config/server.properties
3) bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
4) bin/kafka-console-producer.sh --broker-list SERVER-a.IP:9092 --topic test
serveur B
1A) bin/kafka-console-consumer.sh --bootstrap-server SERVER-a.IP:9092 --topic test --from-beginning
1B) bin/kafka-console-consumer.sh --bootstrap-server SERVER-a.IP:2181 --topic test --from-beginning
Lorsque je cours 1A) consommateur et entrez des messages dans le producteur, il n'y a pas de messages apparaissant dans le consommateur. C'est juste vide.
Lorsque je cours 1B consommateur à la place, je reçois un énorme & flux très rapide de journaux d'erreurs dans le serveur A jusqu'à ce que je Ctrl + C le consommateur. Voir ci-dessous
journal d'erreur sur le serveur A en continu à des centaines par seconde
WARN Exception causing close of session 0x0 due to java.io.EOFException (org.apache.zookeeper.server.NIOServerCnxn)
O Closed socket connection for client /188.166.178.40:51168 (no session established for client) (org.apache.zookeeper.server.NIOServerCnxn)
Merci
merci pour votre commentaire. J'ai ajouté mon explication complète du problème dans ma question. Peut obtenir votre aide voir où est le problème. Merci. –
Je pense que le problème pour 1B) est que vous ne pouvez pas exécuter un consommateur avec l'adresse de zookeeper pour l'option '--bootstrap-server'. C'est pourquoi vous obtenez ces erreurs. Concernant 1A), j'ai parfois été confronté à ce problème. Jetez un oeil à ce post: http://stackoverflow.com/a/43092572/5035392. Cela pourrait résoudre votre problème. – ImbaBalboa
En outre, essayez cette commande pour le producteur: 'bin/kafka-console-consumer.sh --zookeeper SERVER-a: 2181 --à partir de - début - test de sujet' – ImbaBalboa