MySQL Kafka ELK Stack Date Sujet

Question

Je crée Ingestion de données à partir de:

MySQL --> Kafka --> Logstash --> Elasticsearch --> Kibana

Je suis en mesure de données de pipeline de MySQL jusqu'à Kibana, mais je suis confronté à des problèmes tout en traitant avec la colonne « Date » dans la Table MySQL

La colonne Date apparaît en tant que date EPOCH dans la rubrique Kafka et dans le document ES. Peut-on le convertir au format "aaaa-mm-jj" dans la partie Elasticsearch/Logstash?

Answer 1

Pour répondre directement à votre question: utilisez un modèle dynamique Elasticsearch pour définir le champ de date comme date et Elasticsearch interprétera alors correctement la valeur de l'époque. Savez-vous que vous n'avez pas du tout besoin de Logstash pour le faire? Vous pouvez simplement utiliser le collecteur Elasticsearch pour Kafka Connect. Vous pouvez obtenir ce separately, ou dans le cadre de Confluent Platform.

Vous voulez suivre cette série de blog, je vous écris ici, qui construit exactement ce pipeline (MySQL -> Kafka -> ElasticSearch): https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/