Intégration de bec Kafka

Question

J'utilise kafka 0.10.1.1 et tempête 1.0.2. Dans la documentation de tempête pour l'intégration de kafka, je peux voir que les offsets sont toujours maintenus en utilisant zookeeper car nous initialisons kafka bec en utilisant des serveurs de zookeeper. Comment puis-je amorcer le bec à l'aide de serveurs kafka? Existe-t-il un exemple pour cela? Exemple de docs tempête

BrokerHosts hosts = new ZkHosts(zkConnString); 
SpoutConfig spoutConfig = new SpoutConfig(hosts, topicName, "/" + topicName, UUID.randomUUID().toString()); 
spoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme()); 
KafkaSpout kafkaSpout = new KafkaSpout(spoutConfig); 

Cette option à l'aide Zookeeper fonctionne bien et consomme les messages. mais je n'étais pas capable de voir le groupe de consommateurs ou les nœuds de tempête comme des consommateurs dans kafkamanager ui.

L'approche alternative essayée est celle-ci. Mais cette solution montre CommitFailedException après avoir lu quelques messages de kafka.

Answer 1

Storm-kafka écrit les informations des consommateurs dans un emplacement différent et un format différent dans zookeeper avec le client kafka commun. Donc vous ne pouvez pas le voir dans kafkamanager ui. Vous pouvez trouver d'autres outils de surveillance, tels que https://github.com/keenlabs/capillary.