AWS Lambda Python S3へファイルアップロードで別のS3にその暗号化ファイルをアップロード(1/3)

Complete_my_task!

2020年6月12日 11:41

こんにちは。現在、AWSにつきまして、勉強させて頂いております者です。

今回は、AWSのLambda(Python)で、S3バケットにファイルがアップロードされたイベントで、別のS3バケットに、その暗号化ファイルをアップロードする方法につきまして、書かせて頂きたいと存じ上げます。

私はWSL(Windows10)を使用中で、WSL環境での説明になりますが、他の環境をお使いの方は、ご自身で環境に合わせてご対応頂きたく存じ上げます。

◆使うAWSサービス・EC2仮想サーバー(Amazon Linux 2) ・S3バケット・Lambda

◆対象者・AWSのアカウントを取得されておられます方・AWSコンソールのセキュリティステータス設定を全て完了されておられます方

◆事前にご準備頂くもの

・FileZillaのインストール・TeraTermのインストール・IAMロールの作成

※話が前後致しまして、大変、申し訳ありませんが、「ロール」につきまして、説明が巻末にございます。解り易く説明致しておりますので、そちらを先に、ご購読頂きたい次第です。

Appendix A →(3/3)の最後です。

※あともう一つ。AWSのセキュリティ対策としまして、S3に、「アクセスコントロール」というものが必要になります。テストをしてから、「どうしてS3にアクセス出来ないんだ」と、慌てないように、巻末のAppendix Bにて、ご説明致しております。話が前後して、大変、申し訳ありませんが、「始められます前に」、巻末の(3/3)のAppendix A、Appendix Bをご参照頂きますよう、宜しくお願い申し上げます。

◆概要

1. EC2インスタンスの作成 2. VenvでEC2内仮想環境構築 3. S3バケット作成 4. ライブラリデプロイ前のLambdaのテスト 5. pyminizipというファイル暗号圧縮ライブラリのLambda関数へのデプロイ 6. デプロイ済のLambda_function.zipをLambdaにアップロード 7. AWS料金節約の為、使用済みのS3バケットとEC2インスタンスの削除

1. EC2インスタンス作成

(1)AWSコンソールから、EC2を選択し、EC2インスタンスを起動します。

(2) 「Amazon Linux 2」を選択します。

(3)無料枠の「t2.micro」サービスを選択します。

(4) 詳細を設定します。

(5)ストレージの追加をします。

(6)タグの追加もそのままで、次の「セキュリティグループの設定」へ進みます。

(7) 内容を確認し、「確認と作成」へ進みます。

(8)インスタンス作成の確認をしインスタンスを起動します。

(9)キーペアを作成します。適当な名前を決めて下さい。そして必ず、「キーペアのダウンロードをした後で」インスタンスを作成します。キーペアは、WindowsのDownloadsフォルダに格納されます。

※EC2インスタンスは、起動までに約10分以上時間がかかります。

(10) EC2インスタンスが起動したら、パブリックIPアドレスとパブリックDNSをメモするか、こちらの画面のスクリーンショットを撮っておきます。

2. VenvでEC2内仮想環境構築

(1)TeraTermを起動し、このまま「OK」を押します。

(2)ユーザー名に「ec2-user」と入力し、認証方式は「RSA/DSA/ECDSA/ED25519鍵を使う」を選択し、右側の「…」ボタンを押すと、Windowsのエクスプローラが開くので、Downloadsフォルダから、先程ダウンロードしたキーペアをクリックします。

(3)「OK」を押したら、EC2環境に入ることが出来ました。プロンプトには、[ec2-user@ip-*******]$と表示されればOKです。

(4)Venvを使い、EC2内に仮想環境を作ります。

a. Python3をインストールします。

【注意】インストールする為に、Ubuntuなどでは、「apt 」を使いますが、現在は、Amazon Linux 2 環境内におりますので、「yum」を使います。

$ sudo yum install python3 -y

b. Venv(旧Virtualenv)を使い、仮想環境を作ります。

$ python3 -m venv ***/env

「***」の部分は、好きな環境名を決めて下さい。

c. 仮想環境に入ります。

[ec2-user ~]$ source ~/***/env/bin/activate

上手く入れたら、プロンプトの先頭に(env)が追加されます。

(env)[ec2-user@~]$

d. pipの最新版をインストールします。

(env)[ec2-user@~]$ pip install pip --upgrade

e.開発に必要なBoto3ライブラリをインストールします。

(env)[ec2-user@~]$pip install boto3

f.「pyminizip」というファイル暗号圧縮ライブラリもインストールしておきます。

(env)[ec2-user@~]$ sudo yum install -y gcc zlib-devel

(env)[ec2-user@~]$ pip install pyminizip

g.最後に、Venv環境から抜けます。

(env)[ec2-user@~]$ deactivate

h. プロンプトが元に戻ります。

[ec2-user@~]$

i. 接続を終わります。右上の×を押し、切断しますか？で「OK」を押します。

3. S3バケットを２つ作ります。

コンソールで、「read用」と「write用」のS3バケットを２つ作ります。

(1) コンソールから、S3を選択し、「バケットを作成する」を押します。

(2) 世界でユニークな(唯一ひとつだけの)名前をつけ、日本在住の方は、東京リージョンのままで、次へ進みます。(バケットを２つ作るので、名前の末尾に、それぞれreadとwriteをつけると解り易い)

(3)そのまま「次へ」を押します。

(4)S3にアクセス出来ない問題が発生したら困るので、テストとして「完了後、直ぐに削除する前提で」パブリックアクセスをONにします。

(5)確認し、S3バケットを作成します。

(6)同様のことを繰り返し、read用とwrite用にS3バケットを２つ、作成します。

4.ライブラリデプロイ前のLambdaのテスト

まずは簡単な動作から、確認します。簡単なLambda関数を作成します。

(1)コンソールから、Lambdaを選択し、「関数の作成」ボタンを押します。

(2)「設計図の使用」と「s3-get-object-python」を選択し、画面を下にスクロールさせて「設定」を押します。

(3)詳細を設定します。実行ロールというのは、Lambdaに与えられる権限のことです。作成済なら、「既存のロールを使用する」を選択し、トリガーは、作成した「read用の」S3バケットを指定します。トリガーとは、これから作戦するLambda関数を呼び出す「引き金となる」イベントのことです。ここで、read用のS3バケットに、動作が起こった場合に、Lambdaの関数が実行されます。