Connecteur Elasticsearch pour Kafka Connect - décalage et horodatage

Question

J'utilise le connecteur elasticsearch (confluent) pour connecter kafka. Je reçois des messages du sujet dans l'index élastique. Je peux voir que offset fait partie de _id si aucune clé n'est utilisée. Je veux parcourir les messages dans elasticseach basé sur les décalages et l'horodatage.

Est-il possible d'obtenir le décalage et l'horodatage du message en tant que champs dans l'index?

Voici le document ElasticSearch

{ "_index": "test-elasticsearch-sink", "_type": "kafka-connect", "_id": "test-elasticsearch-sink+0+0", "_score": 1, "_source": { "f1": "value1" } }

Merci, Rajesh

Answer 1

Ce n'est pas possible actuellement, mais nous pensons le long des lignes d'une fonctionnalité qui permettra de levage des métadonnées d'enregistrement comme timestamp , topic, partition, offset aux champs.

Answer 2

En utilisant Single Message Transforms, vous pouvez en effet ajouter de nouveaux champs, y compris des valeurs telles que le décalage et l'horodatage. Jetez un oeil à org.apache.kafka.connect.transforms.InsertField.