Kafka connect (message de l'unité de transformation) rangée filtrage

Question

I lu Kafka connecter transformations introduites dans kafka 0.10.2.1 https://kafka.apache.org/documentation/#connect_transforms

I remarqué que toutes les transformations sont des transformations sur la base de la colonne. J'ai un cas d'utilisation où j'ai besoin de filtrage basé sur la valeur. Par exemple:

considèrent l'ensemble de données suivante d'un groupe de personnes:

{"firstName": "FirstName1", "lastName": "LastName1", "age": 30} 
{"firstName": "FirstName2", "lastName": "LastName2", "age": 30} 
{"firstName": "FirstName3", "lastName": "LastName1", "age": 60} 
{"firstName": "FirstName4", "lastName": "LastName2", "age": 60} 

Je veux que mon travailleur pour filtrer tous les enregistrements dont lastName est LastName2

Est-il possible à l'aide kafka-vous connecter ou I besoin d'écrire un programme distinct pour ce cas d'utilisation.

Merci

Answer 1

Aucune raison pour laquelle vous ne pouviez pas résoudre ce Message unique Transforme - mais vous aurez besoin d'écrire un personnalisé puisque ce que vous décrivez ne sont pas disponibles dans les transforme actuellement expédiés.

Ceci est un exposé utile ici quand à utiliser, et de ne pas utiliser, SMTs: Kafka Summit New York 2017 : Single Message Transformations Are Not the Transformations You’re Looking For (Ewen Cheslack-Postava, Confluent)