Kafka: Comment configurer le connecteur kafka-connect-sink pour récupérer le contenu du sujet du courtier distant? Demander

Question

J'essaye de mettre en place le connecteur d'évier de Kafka connect. Kafka connect fait partie de Kafka connect broker (confluent-3.2.0). J'ai un courtier Kafka (confluent-3.2.0) opérationnel sur la machine A. Je veux configurer le connecteur Kafka-connect-sink sur une autre machine B pour consommer des messages, en utilisant un connecteur personnalisé Kafka-connect-sink jar. Supposons que les ports Kafka broker et Zoo keeper sur la machine A sont ouverts à la machine B.

Donc, dois-je installer/installer confluent-3.2.0 sur la machine B (puisque Kafka Connect fait partie du paquet Kafka Broker - confluent-3.2. 0) en définissant le chemin d'accès de classe au connecteur jar Kafka-connect-sink et exécutez la commande suivante?

./bin/connect-distributed.sh worker.properties

Merci

Answer 1

Oui. Ce que vous décrivez fonctionnera et est le moyen le plus simple de configurer ce système même si sur la machine B, vous n'avez besoin que du script de démarrage, du fichier de propriétés de configuration, des fichiers jar pour Kafka Connect et des fichiers jar du connecteur personnalisé.