![見出し画像](https://assets.st-note.com/production/uploads/images/21781247/rectangle_large_type_2_3ac3cf287b0d31e4b7d2612f0ab8d31a.jpeg?width=1200)
Photo by
yokoichi
AWSソリューションアーキテクト取得に向けて~Kinesis~
AWS ソリューションアーキテクト アソシエイト取得に向けて学習した内容を備忘的に記載します。
今回はKinesis。
Kinesisとは
ストリームデータを収集・処理するためのフルマネージド型サービス。主に以下の3つのサービスで構成
■Amazon Kinesis Streams
■Amazon Kinesis Firehose
■Amazon Kinesis Analytics
Amazon Kinesis Steams
ストリーミング処理をシャードに分けて分散させて実行するため高速処理が可能。
データの提供側、利用側に様々なサービスが利用可能。
Amazon Kinesis Streamsは以下の関連機能を活用してストリーミング処理アプリケーションを構築。
■Amazon Kinesis Agent
Kinesisサービスにデータを簡単に収集して取り込むOSSのスタンドアロンJavaアプリケーション
■Amazon Kinesis Producer Library(KPL)
Kinesis Streams にデータを送信するOSSの補助ライブラリ
■Fluent plugin for Amazon Kinesis
Kinesis Streams とKinesis Firehoseにイベントを送信するOSSのFluent出力プラグイン
■Amazon Kinesis Data Generator(KDG)
Kinesis Data Generator を利用してKinesis StreamsまたはKinesis Firehoseにテストデータを簡単に送信
■Amazon Kinesis Client Library(KCL)
KCLを利用してKinesisアプリケーションを作成。OSSのクライアントライブラリでEC2インスタンスなどにデプロイして利用。
Amazon Kinesis FIrehose
各種DBに配信・蓄積するためのストリーム処理を実施。Lambdaと連携するとETLとしても機能する。
Amazon Kinesis Analytics
ストリームデータを標準的なSQLクエリでリアルタイムに分析
この記事が気に入ったらサポートをしてみませんか?