AWS Firehose buffering

Question

Lors de l'écriture d'enregistrements dans un AWS Firehose configuré avec S3 comme destination de sortie, pendant combien de temps ces données sont-elles mises en mémoire tampon avant d'être écrites sur S3? Ou y a-t-il un seuil de taille minimum?

Par exemple, je fais ce qui suit pour ajouter des enregistrements:

aws cli:

aws firehose put-record --delivery-stream-name mytestfirehoseafds --record='Data="{\"asdf\":\"testam\"}"' 

Résultat:

{ 
    "RecordId": "meESlTCUOBQwXaJ9NOVwKOLrEL+7y/glB0mIJ6h6Sz8lOJGUX/N+DlZttq4BQuY528j6ResbxQBR4To+V1RMbBvE4rcxP3kYwg0lmdBAEFWlNnzUb3nP214ywtRYRQ7IzCOjY9o1YPpqHNCCYkPd4Qr0StIFxIiBHHZvTcfW+qMbQkcy7Rr3R+wb+RVs9fEF2Fa8P6mD2NXJOE84sasPNYB/mrjaSMn9" 
} 

Je ne vois pas immédiatement dans mon seau S3 Cependant, si j'utilise la fonction «Test Data» dans la console aws, je verrai les fichiers ajoutés à S3 avec les données de test, y compris mon enregistrement de test ci-dessus.

Mes questions sont,

1.) Est-ce que Firehose ont une sorte de seuil tampon qu'il doit atteindre avant de les écrire ses données tamponnée à sa source de sortie? 2. Comment puis-je déterminer quelles données/enregistrements se trouvent dans le tampon de lancement à un moment donné?

Answer 1

1) Oui, il est configurable au sein firehose

Kinesis Firehose tampons les données entrantes avant de le livrer à Amazon S3 . Vous pouvez choisir une taille de tampon (1-128 Mo) ou un intervalle de tampon (60-900 secondes); la première condition satisfaite déclenche la transmission des données à Amazon S3.

Creating an Amazon Kinesis Firehose Delivery Stream

2) Vous ne pouvez pas. Firehose n'expose pas les données en attente.