見出し画像

AWS 入門の記録（１１２）はじめての Lake Formation ！

jnkykn

今日は、週間AWSで知った、「AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる Lake Formation」に参加しました！

Data Lake って、最近よく目にするんですが、「データを貯めておくってことなんだろうけど、例えば S3 バケットに貯めていくのと、どう違うんだろう？湖はプールより格段に広いから、たくさんのデータを貯めるってことなんだろうけど。。。」って思っていたのです。今日のハンズオンは、Lake Formation に実際に触れるというもので、普段の実務でオンプレ環境ばっかり利用している私にとって、大変ありがたい講座なのです。申し込んだものの、まだまだひよっこの自分についていけるだろうか？という不安がありました。でも、やらないままだと、ずっとできないままだし、できるところまでやってみよう！とチャレンジすることにしたのです。

はじめての Lake Formation

さて、講師の下佐粉（しもさこ）さんから、必要なリソースと資料のご提供があり、事前準備としてCloud Formation を作成しました。「うわっ、初 Cloud Formation ！！！やったことないけど、大丈夫だろうか？？？」と思ったのですが、ご提供リソースのテンプレートを使用して、サクッと準備完了できました。

準備をしながら、Lake Formation の 概要について解説を伺いました。Data Lake というのは、生のデータを一箇所に集めておいて、その集めたデータに対して様々な処理を切り替えて使うという考え方のことだそうです。データに対して処理系が独立しているので、必要に応じて処理系を使って、不要になったら捨てて別の処理系を使うという風に切り替えていくスタイルなんですね。さらに、ただデータを貯めておくだけじゃなくて、処理がしやすいようにカタログに登録したり、ETLなどで下準備をしておくことで、データを扱いやすくするところがポイントみたいです。Lake Formation は、AWS Glue のサービスの1つなので、クローラーでカタログ登録や Glueのサーバレス ETL で下処理をしたりするのですね。

Lake Formation Permission 便利すぎる！！！

画像2

いよいよ、Lake Formation のハンズオン。Blueprints でデータ収集をする設定、Lake Formation に手動でデータを追加する手順を実習しました。次にCloud Formation で登録済のユーザーに Lake Formation Permission でデータに対する権限を与えて、権限による操作の可否などを確認しました。

画像1

もとのデータのカラム単位で権限を与えたり、タグで権限を管理したり、細かい権限設定ができて、めちゃくちゃ柔軟でびっくりしました。通常のデータベースだと権限ごとにViewを切り替えるみたいな感じかなぁ？

ポチポチと設定していくだけで、この柔軟なアクセス制御が実現できてしまうところが、「こんなに簡単でいいの！？」という素晴らしさです。今までやってきたアクセス制御というとIAMロールが浮かぶのですが、Lake Formation のデータを処理しようと思ったら、利用者のアカウント以外にも使用するサービスの権限など複数の権限が関係するので、ロールの管理がとても煩雑になるところを Lake Formation Permission で一元管理できるって、これだけでも Lake Formation を使う価値ありだなと思いました。

独学でポチポチやっていただけでは、Lake Formation というサービスについて理解できなかったと思いますし、実際に触れるまでもっと準備が必要だったと思います。後で資料を見ながら、復習ハンズオンもチャレンジしなくては！

ほんとうに、参加できてよかったです。下佐粉さん、亀田さん、ありがとうございました！

さて、今日の学習はここまで。次回は、また次の週末の予定です（たぶん）


この記事が気に入ったらサポートをしてみませんか？