événements Supprimer de Kafka JDBC Connect Source

Question

Je suis jouer avec le connecteur Kafka Connect JDBC et qui concerne plus précisément ce que le format réel des données qui est mis sur le sujet est.

J'ai pu voir de nouvelles insertions et mises à jour de la base de données, mais je ne l'ai pas été en mesure de détecter les suppressions de la base.

Première: Le support de source JDBC la détection de ces changements? Je ne peux pas trouver la documentation d'une manière ou d'une autre.

Si oui, quel format faut-il sur le sujet réel?

Answer 1

Le Confluent JDBC source connector est capable de capturer des "suppressions logicielles", où les lignes "supprimées" sont simplement marquées comme telles par votre application mais ne sont pas réellement retirées de la table. Puisque les lignes sont toujours là, le connecteur peut voir leurs changements. Cependant, le connecteur est pas capable de capturer des lignes qui sont supprimés à partir d'une table, car le connecteur interroge les tables source via JDBC et est donc incapable de voir les lignes qui sont retirées de la table.

D'autres connecteurs peuvent capturer toutes les modifications en tapant dans les journaux de transactions de la base de données ou en écrivant des journaux en avance, en utilisant des techniques connues sous le nom change data capture ou CDC. Chaque SGBD est différent et nécessite donc un connecteur écrit spécifiquement pour ce SGBD. Par exemple, le Debezium project a des connecteurs Kafka Connect pour MySQL, PostgreSQL et MongoDB, et travaille sur des connecteurs pour Oracle et SQL Server.