Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 業務でファイルを直接やり取りするログ収集の仕組みを大幅に変更し、その際AWS Kinesis周辺サービスを利用しました。 構成を変更してから半年ほどたっていますが、構築時に調べた仕組みや運用してみてわかったことなどを記載します。 本構成で収集するログについて、内容は単純なjsonテキストで約2~3億行/日、データサイズはKinesisStreamsのGetRecords.Bytes計測で約500~600GB/日で運用しています。 構成 ログをfluentdが収集し、KinesisStreamsに連携します。 KinesisFire