2016-04-27 1 views
5

Je passe certaines données json à feu streamhift livraison qui à la fin est enregistré dans la table Redshift. Pour mon cas d'utilisation, je souhaite que les données soient stockées dans des tables différentes. Est-ce que je crée un flux de diffusion différent pour différentes tables? Si je le crée de cette façon, il y aura une duplication de données dans S3 car les données doivent passer par S3 afin de pousser les données vers Redshift en utilisant le flux de livraison Firehose.Y at-il de toute façon écrire des données à plusieurs tables de redshift en utilisant un seul flux de livraison firehose

Répondre

7

De Kinesis Firehose FAQ:

Q: Est-ce qu'un seul flux de distribution de fournir des données à plusieurs clusters Redshift ou Amazon tables? Un flux de diffusion unique peut uniquement transmettre des données à un cluster Amazon Redshift et à une table pour le moment. Si vous souhaitez que les données soient transmises à plusieurs clusters ou tables Redshift, vous pouvez créer plusieurs flux de diffusion.

Vous aurez besoin de plusieurs flux.