Amazon Kinesis Firehose en tant que cloudwatch connecte le consommateur

Question

Mon exigence est de collecter les journaux de flux VPC à partir d'AWS. J'ai créé un journal de flux VPC et l'ai associé au groupe de journaux de surveillance du cloud "Groupe de journaux de flux". A partir de l'abonnement aux journaux CloudWatch, j'ai pensé à l'abonner via le firehose AWS Kinesis, mais dans la liste des abonnés, je n'ai pas trouvé "Kinesis Firehose", "Lambda" et "ElasticSearch Service". Pourriez-vous m'aider avec ça. Impossible de s'abonner aux journaux CloudWatch à l'aide de AWS Kinesis firehose.

Answer 1

Un firehose arn est une destination d'abonnement valide pour CloudWatch Logs, mais il n'est pas possible d'en définir un avec la console, uniquement avec API ou CloudFormation. La plupart des exemples que j'ai trouvés utilisent l'option LogGroup 'Stream to AWS Lambda' de la console pour alimenter un AWS Lambda qui est transféré vers Amazon Kinesis Firehose, comme dans How to Visualize and Refine Your Network’s Security by Adding Security Group IDs to Your VPC Flow Logs.

Le Using CloudWatch Logs Subscription Filters chapter of the Amazon CloudWatch Logs User Guide a un Firehose Example (Example 3) qui pourrait être mieux adapté à votre cas d'utilisation.

Essentiellement, le chemin est Amazon CloudWatch LogGroup SubscriptionFilter -> Amazon Kinesis Firehose Delivery Stream -> Amazon S3 Bucket and Prefix

Anecdote: Amazon CloudWatch les données des journaux est déjà au format gzip lors de la livraison à Firehose.