Architecture de requête de base de données en streaming Kafka?

Question

J'ai de gros volumes d'enregistrements d'événements simples qui arrivent dans un système et qui sont publiés sur un sujet Kafka.

J'ai une application de streaming qui répond aux événements, et pour chaque événement, une requête Postgresql, obtient/crée de nouveaux identifiants, annote l'enregistrement et publie sur un sujet de sortie.

Je pense que faire des opérations postgresql pour chaque enregistrement d'événement entrant va être un problème de performance.

Quelles sont les conceptions les mieux adaptées ou alternatives pour ce scénario?

Answer 1

Vous pouvez utiliser une fenêtre courte pour accumuler des enregistrements pendant n secondes, puis traiter par lots les enregistrements émis. Cela vous donnera des ensembles d'enregistrements plus importants à traiter et vous pouvez utiliser le traitement par lots jdbc pour améliorer les performances.