【2021JDSCアドベントカレンダー】Microsoft Open Hackに３日間参加しました！

こんにちは！

JDSCデータエンジニアの秋山です。

普段、私は主にGoogle Cloud Platform内でのデータパイプラインを構築していますが、常々、「他のクラウドパブリックでのデータパイプラインでは、どう構築すべきなんだろう？」と考えていました。

その問いに対する一つのアプローチとしては、「実際にサービスを触り、理解を深めながらも資格を取れるほどまでに学習する」ということが最適なのではと考えていました。とはいえ、理解を深めるといっても、実際の課題が与えられてなければなかなか学習意欲もわきませんよね....。

しかしそんな中、GCP以上に盛り上がりを見せている、Microsoft Azureによるオンラインハッカソンイベントがやっていると耳にしたので、本業をしつつも（実は、本業もかなーりの鉄火場を迎えていました...!）Microsoft OpenHack Mordern Data Warehousingを11月24日~11月26 日の３日間参加しましたので、そのレポートをお伝えします。

OpenHackとは

https://openhack.microsoft.com

Microsoftが主催し、4〜6人ほどのチームに分かれて、与えられた課題をMicrosoft Azureの実環境を用いて解いていく、といったハッカソン形式のイベントです。

ハッカソンといっても他チームとバチバチに競い合うといったことはなく、あくまで自チームはどれだけの課題を解決でき、どれだけのことを学びとれるか、といったことに主軸をおいているため、競技をするといった気負いをせずに参加することができます。

私が参加した回では、イベントの都合上、課題の詳細をお伝えすることができませんが、Azure Synapse AnalyticsやAzure Databricks、Azure DevOps などを用いて新しいデータアーキテクチャの構築を学べる、Modern Data Warehousingに参加しました！

1日目　

チームの振り分けが行われ、Azure サービスのミニセッションがなされた後に各チームのインストラクターによる、課題とその作業フローの説明がされました。

チームメンバの紹介中は内心このチームでやっていけるか、不安でいっぱいでしたが皆さんとても優しく、途中本業に追われてワークから離れたこともありましたけれど、その後でフォローなどを入れてくださり、ものすごく助かりました。（本当にありがとうございます！！）

　課題を一旦解き終わると、インストラクターの方による解説が行われます。

面白かったことは、課題に対するチームメンバ内でのアーキテクチャの認識に、少しずつだけど差異があったことです。可能であればその相違についてもっと深堀って議論したかった..

２日目

　前日構築したストレージサービス（Azure Data Lake Storage Gen2とか）やデータウェアハウジングサービス(Azure Synapse Analyticsとか）を用いて更に課題を解いていきます。ここらへんで、Azureによってどのようにrawデータを吸い上げ、どのように分析可能なデータに仕上げていくかといったイメージが出来てきました。

　また、Azure Synapse のDedicated SQL Pool などの料金体系や、それのベストプラクティス事例なども知れて、技術選定の観点からも今後役に立ちそうと感じました。

3日目

　いよいよ最終日です。

　課題としては全部で７つあるのですが、実は７つすべてを完遂できたチームはほぼいないそうです。（イベント終了後には全ての課題がオープンされます。終了後にもまた集まって課題を更に進めるチームもいるんだとか！）

　とはいえ、７つのうち４つをクリアするとLinkedInなどで使える称号バッジ(OpenHack: Modern Data Warehousing)がもらえます。

　私達のチームでは他の皆様の尽力により無事に４つ課題をクリアし、バッジを取得することができました！

残った時間でも５つ目の課題に挑戦し有意義に時間を使い切ったかと思います。

　チームでモブワークをすることで普段にはない良い刺激や、生産性がかなり向上するといった知見（特に作業者の画面を全員に共有しながらすすめることによって、作業者の調べる時間が最適化されるのですね！私にとってはちょっと感動でした...!）を、改めて得ることができました。

終了後

　インストラクターや他チームメンバと感想戦もとい、ちょっとしたフリートークを行いました。（本来だとこのあたりで親睦会が行われるそうです。今回はオンラインイベントだったので少し残念...笑)

　イベントを通して頻繁に利用した、Azure DevOpsの可能性や、一方であまり触れなかったSynapseのパイプラインをどうやってコードとして開発や管理に用いていくのかといった議論ができてとても良かったです！

チームの皆様、そしてインストラクターの皆様、大変ありがとうございました！

参加してみて

 ３日間、しかもよくあるハンズオンイベントではなく、チームで強調しながら課題を解いてくハッカソン形式ということもあって、かなりハードであったイベントでありましたが、普段交わらないような方々との交流を得られたり、Azure流のデータアーキテクチャのベストプラクティスを学べて、思い切って参加してほんとによかったな〜と思います！

　今回のイベントを通じて 単にAzureサービスの概要を触れるだけではなく、実際に使うことによる、ピットフォールやサービスの可能性を実感を以て理解することができました。

　講師の方曰く、コロナ前は実地にあつまることでより綿密なコミュニケーションが図れてたともおっしゃっていましたが、オンラインはオンラインで、画面を全員に共有しながら作業することでモブプログラミングっぽくワークすることができたり、地方の方でも参加しやすかったりと、とても意義深いイベントだったかと思われます。

　特にモブワーク的に作業をすすめることが、自分のケースに立ち返ってかなりあっているなと感じましたので、イベント終了後でも、チーム内の作業にてモブワークを取り入れることにしてみました！

　これからAzureによるデータ基盤サービスを使ってみたい方、そもそもデータ基盤とはどう構築すべきなのかと悩んでいる方は、ぜひお気軽に参加してみてはいかがでしょうか！