Kafka Connectez-vous pour accéder à deux puits (ftp et sql)

Question

Je dois envoyer des données de fichiers à un serveur ftp en utilisant kafka connect sink, après qu'un fichier entier a été reçu par le serveur, je dois également reconnaître un changement d'état de ces tâches dans la DB.

Je voudrais savoir quelle est la meilleure façon d'y aller, j'ai d'abord pensé à la création d'une connexion personnalisée ftp kafka qui va également changer le statut de la tâche db. Est-ce la meilleure façon de faire, ou existe-t-il d'autres options ici?

Answer 1

Quelle est la nécessité de mettre à jour l'état de la base de données de tâches? En haut de ma tête, vous pouvez écrire une application personnalisée qui suit le décalage du récepteur FTP par rapport aux messages disponibles et met à jour une base de données si nécessaire.

À noter que https://www.confluent.io/product/control-center/ peut suivre la livraison des messages dans un pipeline Kafka Connect, et alerter sur les latences.