Amazon Kinesis

○Amazon Kinesisって

リアルタイムのデータストリームを処理するためのAWSのマネージドサービス

Written  with ChatGPT

○主なサービス

1.Amazon Kinesis Data Streams

リアルタイムなデータストリームの受信と処理を可能にするサービス

Written  with ChatGPT

ユースケース

・リアルタイムデータ処理
・ストリーミングデータ分析
・レコードストリームの保存
・リアルタイムダッシュボード
・レコードのリプレイおよびリトライ

Written  with ChatGPT

2.Amazon Kinesis Data Firehose

リアルタイムデータストリームを異なるデータストレージや分析サービスに自動的に送信するサービス

Written  with ChatGPT

データ配信先

・Amazon S3
・Amazon Redshift
・Amazon OpenSearchサービス
・Splunk
・HTTP エンドポイント

Written  with ChatGPT

3.Amazon Kinesis Data Analytics

リアルタイムデータストリームの分析とクエリを行うためのサービス

Written  with ChatGPT

○StreamsとData Firehoseを併用する場合のユースケース

リアルタイムなデータ処理とデータの永続性の両方を必要とする場合

Written  with ChatGPT

Amazon Kinesis Data Streams：リアルタイム性を重視するか
Amazon Kinesis Data Firehose：データの永続性を重視するか

Written  with ChatGPT

○Lamda関数との組み合わせ

1.Amazon Kinesis Data StreamsとLambda関数

・ストリームデータのリアルタイムな処理とトリガー処理
・ストリームデータの加工、変換、フィルタリング
・外部システムへのデータの送信やアクションの実行

Written  with ChatGPT

2.Amazon Kinesis Data FirehoseとLambda関数

・データの受け取り、変換、保存
・データの加工やフォーマット変更
・データのバッチ処理やリアルタイムの配信トリガー

Written  with ChatGPT

3.Amazon Kinesis Data AnalyticsとLambda関数

・ストリームデータのリアルタイムな分析とクエリ処理
・データの集計や集約
・特定の条件に基づいたアクションのトリガー

Written  with ChatGPT

※StreamsとFirehoseの加工の違い

Streams
・データそのものを変えることができる
・必要な情報の抽出や不要な情報の削除ができる
・リアルタイムでデータを処理できる
Firehose
・データの流れ自体を変えることができる
・異なるストレージや分析サービスに対応できる

Written  with ChatGPT

※Amazon Kinesis Data Firehose単体,Amazon Kinesis Data FirehoseとLambda関数でS3に保存する場合の違い

Firehose単体：データの転送と保存のみ
Lambda関数を併用：データの変換や追加処理が可能

Written  with ChatGPT