J'utilise l'outil Web StreamSets Data Collector (SDC) pour créer un pipeline qui transfère des données de mon système local vers Kafka via un producteur Kafka. Cependant, je dois d'abord créer manuellement le sujet dans lequel je veux stocker mes données. Est-il possible de créer le sujet via StreamSets?Est-il possible de créer des sujets Kafka via StreamSets Data Collector (SDC)?
Par défaut, Kafka est configuré pour créer automatiquement des rubriques. Vous pouvez définir num.partitions dans broker config pour modifier le nombre de partitions par sujet à partir de sa valeur par défaut 1.
Si vous souhaitez créer le sujet à partir du pipeline, vous pouvez déclencher un shell executor du pipeline start event au create a topic. Notez qu'il n'est pas possible de créer le sujet à partir d'un événement d'étape, car celui-ci se déclenche après l'envoi des données aux destinations, et vous souhaitez que le sujet existe avant que le pipeline commence à envoyer des données.
Merci! Cela a résolu le problème. – prachi
Comment calculeriez-vous le nom du sujet, la configuration de la partition? – metadaddy
Il est réellement possible de créer des sujets via StreamSets. Lorsque nous démarrons un nouveau pipeline dont la destination est Kafka Producer, StreamSets crée automatiquement un nouveau sujet s'il n'existe pas déjà sur le serveur Kafka. Par défaut, le sujet créé n'a qu'une seule partition. Est-il possible de spécifier la configuration dans StreamSets? – prachi