JDBC Sink Connector - Mise à jour dans plusieurs tables à partir de plusieurs sujets en utilisant kafka-connect

Question

J'essaye de lire 2 sujets kafka en utilisant le connecteur d'évier JDBC et de l'augmenter en 2 tables Oracle que j'ai créées manuellement. Chaque table possède 1 clé primaire que je veux utiliser en mode upsert. Le connecteur fonctionne correctement si je n'utilise qu'un seul sujet et seulement 1 champ dans pk.fields mais si j'entre plusieurs colonnes dans pk.fields un de chaque table, il ne reconnaît pas le schéma. Ai-je manqué quelque chose s'il vous plaît suggérer.

name=oracle_sink_prod 
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector 
tasks.max=1 
topics=KAFKA1011,JAFKA1011 
connection.url=URL 
connection.user=UID 
connection.password=PASSWD 
auto.create=false 
table.name.format=KAFKA1011,JAFKA1011 
pk.mode=record_value 
pk.fields= ID,COMPANY 
auto.evolve=true 
insert.mode=upsert 

//ID is pk of kafka1011 table and COMPANY is of other 

Answer 1

Si les PK sont différents, il suffit de créer deux connecteurs d'évier différents. Ils peuvent tous deux fonctionner sur le même agent Kafka Connect.

Vous avez également la possibilité d'utiliser la clé du message Kafka lui-même. Voir doc pour plus d'informations. C'est l'option la plus évolutive, et il vous suffira ensuite de vous assurer que vos messages ont été correctement saisis pour que cela se répercute dans le récepteur JDBC.