1. Accueil
  2. Question et réponse
  3. Partitionnement de données AWS Kinesis Firehose vers s3 par charge utile

Partitionnement de données AWS Kinesis Firehose vers s3 par charge utile

2017-08-01 1 views
3

J'utilise AWS-Kinesis-Firehose pour injecter des données dans S3 et les consommer ensuite avec Athena. J'essaie d'analyser des événements de différents jeux, pour éviter Athena explorer beaucoup de données Je voudrais partitionner les données s3 en utilisant un identifiant pour chaque jeu, jusqu'à présent, je n'ai pas trouvé de solution, car Firehose reçoit des données de différents Jeux.Partitionnement de données AWS Kinesis Firehose vers s3 par charge utile

Est-ce que quelqu'un sait comment le faire?

Merci, Javi.

Source

2017-08-01 bracana

+0

il serait préférable d'ajouter le code que vous avez jusqu'à présent – anyanwu

Répondre

1

Vous pouvez envoyer votre trafic vers le flux principal firehose - utiliser alors une fonction lambda pour diviser les données à plusieurs flux de firehose - un pour chaque jeu qui enregistre les données dans un dossier séparé/seau

Source

2017-08-01 08:08:31

+0

Je pensais à ce sujet, mais il y a un problème, je m'attends à environ 20 millions d'événements quotidiens, ce qui signifie que la fonction lambda sera déclenchée 20M fois par jour juste pour "classifier" les événements, ce serait cher. – bracana

+0

J'ai trouvé les événements cloudWatch, qui pourraient m'aider à le faire dans un intervalle de temps, mais qui pourrait être encore cher – bracana

+0

Lambda peut être déclenché en lots jusqu'à 1000 événements via FireHose - ce qui réduit considérablement vos déclencheurs –

 Questions connexes

  • Aucun problème connexe^_^