風音屋の実践課題「K-DEC」を通してデータエンジニアとして成長した5ヶ月を振り返る
こんにちは、風音屋 データエンジニアの @hrkhjp です。
私は風音屋 代表 ゆずたそ（@yuzutas0）がMENTAで募集していた「第二新卒が3ヶ月でデータエンジニアへの転職を目指す講座」を受講し、これがきっかけで風音屋に入社しました。
そこで、講座の題材であった「K-DEC」について、各課題の内容と学びを振り返る形でご紹介したいと思います。
K-DECとMENTA講座について
K-DEC (Kazaneya Data Engineering Criterion) とは、風音屋によるデータエンジニアリングの実践課題です。K−DECは演習課題・ケース面談・インタビューの3つの課題で総合的なデータエンジニアリングの実力をはかる構成になっています。
K-DECは、過去には
入社時の選考課題
MENTA講座「第二新卒が3ヶ月でデータエンジニアへの転職を目指す講座」の題材
として位置付けられておりました。
現在はどちらも終了し、K-DECは風音屋入社後の研修課題となっております。詳しくは「風音屋の選考フローを3ヶ月から3週間に短縮しました」をご覧ください。
今回私が受講したMENTA講座は、K-DECを選考課題としてではなく、スキルアップのための題材として扱うものでした。実際に各課題を解きながら、ひたすらフィードバックを受けることで、実践的なデータエンジニアリングを身に付けていくものでした。
講座を受けるに至った背景（受講目的）
私は未経験から独学でデータ系職種へ転職し、データエンジニアとして働いていました。これまで業務で必要となる知識を必要となるたびに身に付けるスタイルで勉強してきたため、知識やスキル、経験に偏りがあるという点について問題意識がありました。
そこで、以下のようなことが実現できたらよいな、と思い、MENTA講座の受講を決めました。
データエンジニアリングについて一度基礎から学び直し、知識の抜けや漏れを少しでもケアする。
自信を持って技術選定を行えるようになるため、過去に実務で使ったことのないクラウドサービス等も含めて幅広く知識を身に付ける。
各課題の概要
K-DECの3つの課題の概要と、実際にどんなタスクを行うかについてご紹介します。
演習課題
小規模事業について、ETL→DWH→BIのデータパイプライン構築を行うハンズオンの演習課題です。
顧客のセグメントへの分類・可視化
一緒に購入されている商品の組み合わせの可視化
曜日・時間帯ごとの顧客来店数の可視化
ケース面談
顧客のビジネス理解からデータアーキテクチャ設計までのデータ基盤構築の一連のタスクを整理した上で、見積もり・提案資料を作成することで、データパイプライン導入の顧客提案の全体像を俯瞰するケース面談的な総合課題です。
（※講座では、非同期でアドバイスを受けながら、実際に全体の流れを体験していく、という形で進められました）
クライアントのビジネスモデルの整理
モニタリング項目の設計
データ連携の設計
データソース〜モニタリングまでの全体設計
データパイプライン構築のための見積もり・提案
インタビュー
案件を担当する際の意識や工夫について、具体的な事例や数値を挙げてSTAR形式で回答するコンピテンシー面談的な課題です。
（※講座では、それぞれの設問に対して文章で回答を作成して提出し、非同期で添削を受ける、という形で進められました）
自身のWill / Canの整理
各設問に対する回答整理
各課題から得られた学び
得られた学びについて一部抜粋して記載します。もちろん、指摘された内容は他にもたくさんありましたが、あまりに多くてここには書き切れませんでした。
演習課題
設計ドキュメントの作成
採用技術の選定理由を記載する際、特別な理由がない場合はその旨も記載しておくと、今後技術を変更する場合に参考にできるのでよい。
セキュリティ周りの要件定義と設定
BigQueryの監査ログは非常に役に立つが、保存期間が短いのでエクスポートして長期間保存できるようにするのが基本。
エクスポートした監査ログは変更・削除できないように権限を変更しておかなければならない。
データの偏りの確認
誤った結論を出してしまわないよう、データが偏っていないか確認し、集計方法を工夫しなければならない。
たとえば、1月と2月では日数が違うので、売上を比較する際は1日あたりの平均で比較するとよい。
ダッシュボードの見た目の工夫
利用者目線で悪い数字を赤にするなど、色に意味を持たせるようにするとよい。
小数点以下の桁数がバラバラだと見にくいので、統一するとよい。
Terraformの利用
Cloud StorageやBigQueryなどのリソースから、IAMやサービスアカウント等の権限管理までをまとめて宣言的に定義できるので非常に便利。
ビューのバージョン管理ができたり、Pull Requestベースで権限の申請・付与ができたりするので運用が楽になる。
データのテスト
データ品質のテストをSQLで行う場合、毎回手動でSQLを実行するのではなく、Dataformのassertion機能を使うとよい。
Workflowsを使うとCloud Storageへのファイル配置などをトリガーにして自動でassertionを実行できるので便利。
ケース面談
アーキテクチャ図の作成
データの流れと制御の流れがわかるように作成するとよい。
実際に作成した図
モニタリングの設計
売上のような基本的な指標であっても、会計や経理が把握しているだけで、チームとしてはモニタリングできていない場合も多いので、整備できていない場合はまずここから整備するとよい。
KPIをモニタリングするとき、その数値がどうなっているべきか、数値の状況に応じてどんなアクションを打つべきかを事前に整理しておかなければならない。
データソースからの連携
紙ベースの記録を扱う際は、まずデータ化する必要があるので、そのコストも念頭に置いておかなければならない。
データソースの変更検知については、最近はCDC系のソリューションが増えてきているので、活用できないかキャッチアップしておくとよい。
データ基盤の現場装着
データ基盤は作っただけでは使われないので、現場で活用できるように工夫していかなければならない。
利用状況をモニタリングして、データ基盤もデータを利用してPDCAを回すことで改善していくとよい。
データ基盤導入の見積もり・提案
まずは必要な作業をリストアップして各作業の工数を見積もり、それを積み上げて期間を見積もるようにするとよい。
関係者レビューや、現場装着など、自分以外の作業を想定に入れてスケジュールを組まなければならない。
PJがコストに見合っているかを意識し、依頼を受けない or システム開発しない方向で提案する、といった選択肢も持っておくとよい。
インタビュー
シニアレベルを目指すために必要なこと
背景や具体的な数値を示して、わかりやすく明確に伝わるように説明する。
チームやプロジェクトなどに目を向け、個人視点での考え方に閉じず、大きな目線を持てるようにする。
自身の取り組みや成果をきちんと言語化し、意義や難しさを語れるように仕事をする。
今後の意識
上記の観点を意識して仕事に取り組み、都度振り返って改善していくとよい。
課題図書について
風音屋には「課題図書」というリストがあります。これは、アドバイザー含む風音屋メンバーが想定読者・推薦理由を添えて様々な書籍や記事、スライドなどを紹介しているものです。ここから自分の今の状況に合った本を選んで読み、頭や手を動かして実践するとガンガン成長していける仕組みになっています。
今回、K-DECを受講するにあたり、このリストからいくつか読んだので、各課題に対応するものを1つずつご紹介します。
Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops
演習課題に取り組む前に読みました。データエンジニアリングをやるならとりあえずこれを読んでおけばOKってくらいの量と質です。ちなみに、入社後も「この資料のこのページを読んで！」って言われたりします。
ケース面談の課題でビジネスモデルを整理するにあたって参考にしました。ビジネスの構造を書き出し、理解するための方法が学べます。
インタビューの参考になる本です。お恥ずかしながら、今回この講座を受けるまではSTAR形式について全く知らなかったのでとても勉強になりました。
まとめ
受講目的の達成状況
受講後の達成状況は以下のようになりました。
課題レビューを通して設計・実装からドキュメンテーションまで幅広く指摘があり、データエンジニアリングの基礎について、抜けている部分をケアする、という目的は達成できたと感じています。特に、ドキュメンテーションやテストについてはあまり意識できていなかった部分も多く、非常に勉強になりました。
本来であれば幅広いサービスを経験してみるべきでしたが、課題がなかなか難しく、扱いに慣れているGoogle Cloudを選択して進めてしまったので、達成できませんでした。一方で、今後の取り組み方についてはアドバイスを頂いており、今後も個人目標として取り組んでいきたいと考えています。
受講しての総括
充実したレビューで非常に多くの学びが得られた。
本来は3ヶ月で完了する想定の講座ではありましたが、私は5ヶ月もかかってしまいました。
というのも、大量かつ濃密なフィードバックを頂くことができ、平日夜や休日に少しずつ進めていた私の場合、フィードバックに対応するだけで1週間が終わることさえあったためです。
それだけ多くの身に付けるべきことを示していただけたということで、私自身はこれを非常に前向きに捉えていました。
実践的にデータパイプライン構築の全体像を俯瞰しつつ体感できた。
演習課題で手を動かして実装し、ケース面談で全体像を俯瞰して作業することで、実践的にデータパイプライン構築を学ぶことができました。
特に、ビジネス理解→モニタリング→データソース→アーキテクチャの流れを実際の案件のように体験できるケース面談は非常に充実しており、学びが多かったです。
今後目指していく姿を描くことができた。
シニアレベルではどういった姿勢が求められるのか、それに対して自分にどういった部分が足りていないのか、というところまでレビューを頂ける貴重な機会が得られました。
今後のK-DECについて
冒頭でも触れましたが、風音屋の採用フロー変更によってK-DECは選考課題からは外れ、現在は入社後に3ヶ月かけて取り組む研修課題として生まれ変わっています。
技術面でもプロジェクト推進面でも大きく成長できるカリキュラム・レビュー体制となっておりますので、ご興味のある方はぜひ風音屋に入社してK-DECに取り組みましょう！
「まずはお話を聞いてみたい！」という方は、カジュアル面談フォーム からお気軽にご連絡ください！
「すぐにでも応募したい！」という方は、採用フォーム から直接ご応募いただいてもOKです！
この記事が気に入ったらサポートをしてみませんか？