見出し画像

【ミートアップ開催レポート】GCP初心者必見! PythonでBigQueryの操作をしてみよう!


こんにちは!田代です!

mirameet 第24回のテーマは
GCP初心者必見! PythonでBigQueryの操作をしてみよう!でした!
参加してくださった皆様、ありがとうございました!

当日の様子

オンライン開催で、現場は秋葉原オフィスからzoomにてお届けいたしました!
私、今回はじめてハンズオンのスピーカーをさせていただきました!
ハンズオン終了後の様子ですが、水飲んでますw
現場はこんな感じでした~

画像1

当日は下記のタイムスケジュールに沿って進めていきました。

mirameetvol24_v2.0(カンペあり)


解説編

解説編ではGCPの数多くのサービスから、
ハンズオンで使用する「BigQuery」、「GoogleCloudStorage」について解説しました。
+αでPythonからBigQueryの操作解説も少し行いました!

画像3


ハンズオン

解説はサクッと終わり、お次はハンズオンです!

画像4

今回のハンズオンのゴールは、Pythonプログラムを実行してBigQueryとCloudStorage上のデータを操作することでした!

以下がハンズオンの主な構成です。
・GCP各種サービスの設定
・Pythonプログラムの実行と処理結果の確認

GCP各種サービスの設定
BigQuery、CloudStorage、CloudIAMの設定を行いました。

画像5

Pythonプログラムの実行と処理結果の確認
 いざPythonプログラムを実行し、BigQueryのデータを操作!

 以下の処理を行うPythonプログラムを順番に実行していきました。
  ①CSVファイルをGCS(GoogleCloudStorage)のバケットへアップロード
  ②アップロードしたCSVデータをBigQueryのテーブルにインサート
  ③BigQueryのテーブルにインサートしたデータを更新・削除
  ④BigQueryのテーブルデータをGCSのバケットへエクスポート

図:ハンズオンの処理の流れ

画像6

下記の画面には、①でGCSバケット内にアップロードしたCSVファイルと、④でエクスポートしたCSVファイルが入っています。

画像7

④でエクスポートしたCSVファイルの中身が、更新・削除したBigQueryのテーブルデータの内容と同じ値になっているか確認して今回のハンズオンのメニューは終了しました!

少しお時間があったので”おまけ”として、バケット、データセットの削除方法をお伝えしました!

画像9


ゆるのみ

ハンズオン終了後に"ゆるのみ"を開催しました~!
お酒を片手にゆるゆると🍺
今回はオンラインでの開催でしたが参加者の皆様と交流できたこと、とっても嬉しかったです!
コロナが落ち着いたら、ぜひオフラインで"ゆるのみ"しましょう!

現場

最後に

ご参加いただいた皆様、本当にありがとうございました!
今回ご都合が合わなかった方も次回のご参加お待ちしてます!

そして次回のテーマ

AzureDevTest Labsを使って素早くテスト用環境を作成してみよう!

画像10

内容はAzureのサービス、DevTest Labsを使用して気軽にテスト環境を手に入れよう!というAzure体験となります。

次回もオンライン開催のみとなります!
以下の応募フォームからぜひご応募ください!!!

【オンライン応募フォーム】
→ https://mirameet.connpass.com/event/227647/

mirameetは、miracleave主催のコミュニティ
miracle rabbits(ミラクル ラビッツ、通称ミララビ)のイベントです。
幅広いテーマでmirameetというミートアップを開催しています。

参加いただいた皆様が楽しみながら、スキルアップできる場になればと考えています。
皆様のご参加お待ちしております!

コミュニティ「ミララビ」への参加もこちらからご応募ください★
→ https://menamo.link/profiles/miraclerabbits


この記事が気に入ったらサポートをしてみませんか?