【AWS Summit Online】30分で理解するAWSストレージサービスの全体像：学習メモ

2020/9/30(水)まで開催しているAWS Summit Online。
AWS-04：「30分で理解するAWSストレージサービスの全体像」 のセッションを視聴した学習メモです。

セッションの対象者

・AWS をこれから使おうとしている人
・AWS を使い始めたが、提供されている各ストレージサービスをどんな場面で使うとより効果的なのか知りたい人

セッションの目的

・オンプレのストレージの課題
　クラウドで提供されるストレージのメリット

・様々なシーンにおいてどのストレージサービスを利⽤するのがよいのか、ユースケースをベースに理解する

・⽇々進化するサービス機能強化により新しい利⽤シーンが増えてきており、最新情報を押さえておくことには価値がある

ストレージの主な利用シーン

・データベース
・ファイルサーバー
・データレイク
・ HPC (High Performance Computing)
・バックアップ
・データ移⾏

主な利用シーン別に、どのストレージサービスを使えばよいか

・ファイルストレージ(専用プロトコル)＝ネットワーク越しにアクセスする
・オブジェクトストレージ＝プログラムからAPI経由でアクセスする

-----------------------------------------------

■ データベース
　・データベース関連ファイル(※)の I/O 特性に応じたEBS ストレージを選ぶ。
　　※ データファイル・トランザクションログファイル・アーカイブログファイルなど

　・具体的には「レイテンシー＆IOPS 重視」or「スループット重視」の観点で切り分けるとよい

　・どのEBS ストレージを選べばいいのか実際困ると思うが、以下の判断基準のワークフロー図を参考にするとよい
　　めっちゃわかりやすいので永久保存版のような気がする

-----------------------------------------------

■ ファイルサーバー
　クライアントがアクセスに利⽤するプロトコルに応じてストレージを選ぶ
　・NFS プロトコルならAmazon EFS (※1)
　・SMB プロトコルならAmazon FSx for Windows File Server (※2)
　・要件によっては Amazon EC2 + Amazon EBS 上に個別構築

(※1) Amazon Elastic File System (Amazon EFS)
　⾼い耐久性と可⽤性、保存容量に応じた柔軟な課⾦体系を持つクラウドネイティブなファイルシステム
　
(※2) Amazon FSx for Windows File Server
　Windows ファイルサーバーの完全マネージドサービス

-----------------------------------------------

■ データレイク
　構造化データかどうかを問わず、多種多様なデータを扱えることが求められる

・Amazon Simple Storage Service (Amazon S3)
　・データレイクに必要な要素を備えたクラウド時代のオブジェクトストレージ
　・AWSの大多数のサービスと統合されているため、簡単に連携ができる。データレイクを活用する上で大きなメリットになる

・S3 インベントリ
　・S3に⼊っているオブジェクトのリストを、⼀気に CSV / ORC / Parquet ファイルで取得する
　★ S3に格納されているデータを取得して分析するのに便利

・S3 Select
　・Amazon S3 内のオブジェクトに対して、SQL式で⼀部分のみを抽出できる

-----------------------------------------------

■ HPC (High Performance Computing)
　計算量が膨大な用途の場合(※)、利用するストレージも処理スピードに対応できるものが必要になる
　※ 例：科学技術計算・DNA解析など

・Amazon FSx for Lustre
　Amazon S3 データレイク上のデータセットをロードし、結果を書き戻す分散ファイルシステム

-----------------------------------------------

■ バックアップ
「どこ」から「何」をバックアップするのかによってえらぶ

・AWS Backup
　各サービスの持つバックアップ機能を使⽤し、バックアップの⾃動化・集中管理ができる
　
　※ 2020年9月時点での対応サービスは以下のとおり。まだ少ないが、拡充予定らしい
　Amazon EFS / Amazon EC2 / Amazon EBS / Amazon RDS(Aurora を除く) / Amazon DynamoDB / AWS Storage Gateway
　
・AWS Storage Gateway
　オンプレミス環境からクラウドストレージを利⽤できる

・AWS Snowball Edge
　ハイスペックな機器を利⽤し、オンプレミス〜クラウド間の⼤量データ移⾏を⾼速化できる

-----------------------------------------------

■ データ移⾏
　・移⾏するデータをオンラインで転送する or オフラインで運ぶか
　・マシンイメージとして移⾏する or ファイルやデータだけ移⾏するか
　・移⾏におけるダウンタイムや条件によって選ぶ

・AWS DataSync
オンプレミスとクラウドのデータ転送をシンプルかつ⾼速に⾃動実⾏する
オンライン転送サービス

・CloudEndure Migration
　短い停⽌時間で AWS への移⾏実現するサーバー移⾏ツール

サービスアップデートのメモ

・Lambda 関数からEFS を呼べるようになった

・AWS Snowball Edge より軽いデバイスが出た。
　その名も「AWS Snowcone」

・新サービス「AWS Transfer Family」が登場。
　Amazon S3 をバックエンドにした SFTP/FTPS/FTP のマネージドサービス

セッションを視聴した感想

・AWS の資格取得に向けた勉強は細々とやっているものの、「こういう場面ではどのストレージが最適か？」の判断基準はまだ身についていない自覚があった。
　本セッションでは、具体的なAWS のサービス名を出しつつ判断基準にまで触れてくれたので、実務で必要になった際に役立てそう。

・期間限定とはいえ、このレベルのコンテンツを無料で公開してもらえると大変勉強になるなと感じた。

参考

・「30分で理解するAWSストレージサービスの全体像」
　本記事内のスライドはすべて上記から引用させていただきました。