AWS Kinesis Firehose - Utilisation de la rotation d'index (Elasticsearch)

Question

J'ai mis en place un nouveau flux AWS Kinesis Firehose et j'aimerais créer un nouvel index sur une base hebdomadaire.

Pour cela, je devrais utiliser le paramètre Index Rotation lors de la configuration du flux.

Mais, dois-je avoir le nouvel index chaque week-end pour la prochaine semaine à venir? Si ce n'est pas (espérons-le pas), comment Firehose sait quel mappage à utiliser? utilise-t-il le mappage défini dans l'index que j'ai spécifié dans le paramètre Index?

En plus, disons que j'ai d'anciennes données, puis-je créer Firehose pour créer un index avec l'horodatage approprié en fonction des dates spécifiées dans mes anciennes données?

Merci!

Answer 1

Eh bien, apparemment, la réponse est oui, mais dans un mauvais sens.

Si Firehose pousse des données dans nouvel indice, qui ne sont pas définis à l'avance avec une cartographie, que les données sont ingérés à Elasticsearch et une cartographie est créé automatiquement pour vous.

C'est vraiment mauvais.

Vous devez créer automatiquement un index 1 à 2 heures avant l'événement. Je vais publier une fonction Lambda et sa configuration pour le faire automatiquement.

Answer 2

Avez-vous essayé d'envisager de créer un modèle d'index dans la recherche élastique. Thay façon de nouveaux index choisira le mappage défini dans le modèle d'index.

vous au lien suivant pour plus de détails

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html