マガジンのカバー画像

AWS

5
運営しているクリエイター

記事一覧

AWS Python SDK(Boto3)を触ってみる

AWS Python SDK(Boto3)を触ってみる

おはようございます、ねすたです、よろしくどうぞお願いします。

今回は初挑戦のため覚書程度ですが、AWS Python SDK(Boto3)を触るための環境構築を記述していこうかと思います。

【環境】

Mac OS Catalina (10.15.7)

AWS CLI v2

Python 2.7.16

1.AWS CLI v2をMacにインストールする普段ねすたはAWSの各種操作をコンソ

もっとみる
【MySQL】AWS同一アカウント内の異なるRDS間でmysqldumpによりデータ連携する

【MySQL】AWS同一アカウント内の異なるRDS間でmysqldumpによりデータ連携する

おはようございます、ねすたです、よろしくどうぞお願いいたします。

今回は古の技術、mysqldumpです。

ねすたはこれまで恥ずかしながらmysqldump使ったことなかったので、備忘録として記載してみます。

mysqldumpというとデータのバックアップとして使われるそうですが、今回のケースとしては、

「AWSの同一アカウント内における別のRDS間におけるデータ連携」

としてmysql

もっとみる
【Aurora MySQL】文字列型カラムの日本語が文字化けする問題の解消【令和最新版】

【Aurora MySQL】文字列型カラムの日本語が文字化けする問題の解消【令和最新版】

おはようございます、ねすたです、よろしくどうぞお願いします。

今回はAurora MySQLについてです。

最近日本語の値が入ることを想定したカラムを追加したのですが、あるデータ連携を試みると文字化けしてて困りました。

「んなのエンコードをUTF-8に変更すれば終わるだろ」と思っていた時期が私にもありました。

いや、確かにそうなんです。しかしゴールはエンコードの変更なのですが、Aurora

もっとみる
【DMS】Aurora MySQLのテーブルをAthanaで使えるようにするまでの軌跡

【DMS】Aurora MySQLのテーブルをAthanaで使えるようにするまでの軌跡

おはようございます、ねすたです、よろしくどうぞお願いします。

今回はDatabase Migration Service(DMS)を利用してAurora MySQLのテーブルのデータをAthanaでSELECTできるようにするまでを記述したいと思います。

0.前提AWSで以下の機能が使える状態になっていることが前提となります。

■RDS:Aurora MySQL(バージョンはおそらく不問)

もっとみる
Athena→S3→Aurora MySQLのデータ連携 〜Load To [LOAD DATA FROM S3]〜①

Athena→S3→Aurora MySQLのデータ連携 〜Load To [LOAD DATA FROM S3]〜①

おはようございます、ねすたです、よろしくどうぞお願いします。

今回はとある業務により、Athena上にあるテーブルからクエリ(SELECT)を実行し、S3にアップロードされたファイルをAurora MySQLの対象となるテーブルにINSERTしたいなーと思い、結果としてめちゃめちゃ時間がかかってしまったのもあり備忘録として記載します。

1つのデータソースであれば SELECT-INSERT す

もっとみる