機械学習プロジェクトの約80%が失敗するのは伊達ではないと実感したが、現実に負けないワークショップに挑戦する
ML Enablement Workshop は、プロダクト開発チームが課題解決に機械学習を使えるようになるためのワークショップです。本記事では、本格的にワークショップを提供し3カ月で得られた知見と、4/20・4/21 に開催された AWS Summit で発表した(※)改善版のポイントについて紹介します。
タイトルの通り初版から改善版に至るにいろいろな実感困難がありました。本記事でその内容に触れますが、機械学習プロジェクトに関わったことがある方なら「あるある」「そうそう」とうなずいていただける点も多いと思います。そうした困難について、改善版ではどう打ち手を取ったのか知って頂くことで、議論や発想のきっかけにしていただければ幸いです。
ML Enablement Workshop は資料を全て GitHub で公開しています。資料についてフィードバックがあればぜひ Issue をお待ちしております。また、記事末尾に個人的に行っているカジュアル相談のリンクをつけています。機械学習の活用についてお悩みの方やワークショップの詳細を知りたい方はぜひ ご連絡お待ちしています。この相談枠では機械学習活用方法の相談を受け付けており、現在満足度は 5 段階評価で 4.6 です。 AWS の機械学習 Developer Relations として機械学習をプロダクトで活用できるチームに必要なノウハウを学び広めていきたいと考えていますので、ぜひ様々なフィードバックや相談を寄せて頂ければ幸いです！生成系 AI の活用についても現在コンテンツを作成中です。
※AWS Summitの動画はオンデマンド配信中です。タイトルは「プロダクト開発と研究の境界を越え機械学習を活かすチームになる」です。
では、本編です。
ML Enablement Workshop とは
ML Enablement Workshopは3つのプログラムから成るワークショップです。すべて合わせると 7 時間程です。 1 日かければ終わる計算ですが、中身が濃いため 1~2 週間あけて実施する想定で期間的に約 1 ヶ月となります。
理解編で機械学習の「勝ちパターン」と勝ちパターンを成立させたベストプラクティス事例を学びます。応用編で、事例を下地にプロダクトの顧客体験が改善するプロセスを可視化します。開始編で、勝ちパターン成立に向けて効果を確認しながら投資とチームを拡大できるよう段階的なステップを設計します。ML Enablement Workshopを利用いただくメリットは3つです。
実践的
AWSで機械学習の活用を支援したノウハウを詰め込んでいます。ワークショップの提供から得られたつまづきや成功の知見、お客様からのフィードバックを随時反映し「活きた知見」を提供します。
実現性
AWS のサービスとプログラムでロードマップの実現を支援します。 AWS では無料で利用可能な Amazon SageMaker Studio Lab や表計算ソフト感覚で使える Amazon SageMaker Canvas 、 API 形式で推薦機能や画像認識機能を組み込める AI Services など熟練したデータサイエンティストがいなくても機械学習が実装できるサービスを提供しています。 AWS のエキスパートによるモデル構築支援を行う ML Solutions Lab 等も含め、サービスとプログラム両面で機械学習による勝ちパターンの実現を支援します。
無料
GitHub で OSS として教材を公開しており、ライセンスの範囲で自由に利用頂くことができます。ワークショップを開催するためのガイドも提供し、社内でのデータ活用推進などに活かしていただきます。
紹介動画をぜひ参考頂ければと思います！
以上の説明は改善版の内容です。ここからは改善前の内容、実際提供することで得られた知見、改善版のポイントを紹介したいと思います。
初版の構成
初版と改善版は同じ 3 部構成ですがプログラムの内容が異なります。初版のML インプットでは機械学習の概要・プロジェクト計画の立て方・推進のための組織構成を講義、ML 開発プロジェクトハンズオンで開発者向けに機械学習プロジェクトの要件定義から評価までを学ぶ演習を実施、ML ワークロード発見アイデアソンでデータサイエンティスト含めたプロダクト開発チーム全員で Event Storming を用い顧客の課題を分析し機械学習の適用ポイントを発見、という構成でした。
ML Enablement Workshop の開発経緯
ML Enablement Workshop が開発された背景に、データサイエンティストが社内にいるのにプロダクトで機械学習が活用されないのはプロダクトマネージャーの機械学習に対する理解が十分でないからでは? というお客様の仮説がありました。 AWS で過去実施された機械学習の提案がたどった経緯に照らしても、この仮説は的を(ものすごく)得ていると判断しました。そこで仮説を課題と認識し、解決するためのワークショップの設計に着手しました。 AWS で機械学習を行う良さは本番環境、つまりプロダクトで実際にモデルを使用してこそ感じられると考えていたので、 Developer Relations としてお客様を担当するアカウントチームの方々と作成に着手しました。
ワークショップの体験は 3 段階で設計しました。1) 特にプロダクトマネージャー向けに機械学習のインプットを行うことで機械学習の知識レベルをそろえる、2) プロダクトの顧客に対する理解のレベルもそろえる、3) 機械学習・顧客課題の理解をそろえたうえでユースケースを発見する、です。
ワークショップの開発は MVP を作るイメージで、既存の資料を組み合わせ 1ヶ月程度で開発しました。素材は 1) AWSの機械学習エキスパートが支援を行う ML Solutions Lab で提供していたビジネス層向けプログラム (ML Embark) 、2) SageMaker Studio Lab を利用した機械学習のハンズオン、3) Event Storming のワークショップの 3 つです。 1) は英語資料を翻訳しカスタマイズ、 2) は機械学習プロジェクトの一連が体験できるようコンテンツを追加、 3) は機械学習のユースケース発見に活用できるようプロフェッショナルサービスの方と相談しカスタマイズしました。アカウントチーム、 ML Solutions Lab 、プロフェッショナルサービス、様々な方の協力で短期間でワークショップを開発することができました。
ちなみに Event Storming は共通理解に基づきソフトウェアを開発していくための手法です。ポストイットを使用し顧客の行動を可視化する点で、カスタマージャーニーマップやユーザーストーリーマッピングに近い手法です。 Event Storming はソフトウェア設計までカバーしているため、開発につなげやすいと考え Event Storming を採用しました。詳細は別途記事にまとめようと思います。
初版の提供
最初の提供は、仮説を提示いただいたお客様向けに実施しました。提供後のアンケートから定量・定性両面でプロダクトマネージャー・開発者がワークショップを通じ機械学習への理解を深められたこと、データサイエンティストはプロダクトやその顧客への理解を深められ機械学習活用のためのチーム組成が効果的に行えたと評価しました。お客様からも評価いただき、 AWS のイベントで登壇頂いたほか、 AWS 内部で表彰を受ける運びになりました。この成功を受け提供の拡大を開始しました。
提供の拡大に向け、DevAx Connect や DevAx Academy といったお客様向けの開発者 Enablement プログラムにノウハウを持つ DevAx チームに協力を依頼し複数社様への提供に協力頂きました。ワークショップのコンテンツも、資料だけでなく開催するためのガイドを追加し GitHub で公開しました。最終的に AWS の関与がなくてもワークショップ資料を活用しプロダクトで機械学習を活用するチームが増えてくれるようにするためです。そうした準備の後、 2022 年末から複数社のお客様へ提供を開始しました。
初版の提供から得た学び
機械学習プロジェクトの約80%は失敗すると言われています。複数社に提供する中でこの数字は伊達ではないことを実感しました。具体的にはアンケートの評価が5段階中3になったり (AWS では珍しい) 、コメントで厳しい評価を頂くなどです。受講したお客様へのインタビューをアカウントチームに取り付けて頂くなどし、フィードバックの収集に努めました。そこで発見された問題を 4 つ挙げます。
プロダクトマネージャーの参加意欲を高めることができなかった
評価の低かったお客様では、プロダクトマネージャーが不在であったり現在の優先度が機械学習にはないことがわかりました。プロダクトマネージャーが不在の場合、プロダクト顧客に対する理解を深めることができず参加者がユースケースに手ごたえを持てない結果になりました。また、ワークショップの提案を受けたときは機械学習の優先度が高かったものの受講するころは低くなってしまったこともありました。お客様に日程調整を依頼する際プロダクトマネージャー参加の重要性を十分伝えられなかった点、複数社合同で行うパートがあり日程調整の都合でタイムリーな提供ができなかった点、さらに意欲沸くユースケースが見つからない場合がある点が原因として挙げられます。Event Storming の理解に時間を取られ本質的な議論ができなかった
Event Storming で使用するポストイットの意味がよくわからないというフィードバックがありました。 Event Storming では最終的にポストイットを 8~9 種類使う手法で、ポストイットの役割を理解することが難しい点が原因として挙げられます。有効性を感じた、楽しかった、というフィードバックはあったものの提供側でもポストイットの使い方に悩むことがあり、議論を進めるうえでのハードルになっていることは確かでした。機械学習の実現に向けて具体的な計画を作成する時間とれなかった
ワークショップはユースケースの発見で終了し、発見したユースケースは終了後に実現計画を検討いただく想定でした。しかし、ワークショップ終了後せっかく集まったプロダクトマネージャー、開発者、データサイエンティストは解散し再度の招集が進まず検討も進まず、やがて腰が重くなる事態が見られました。ワークショップ時間内で具体的な次のアクションを決められていない点が原因として挙げられます。AWS ならではのアドバンテージが活かせていない
ワークショップはユースケースの発見を主眼としているため AWS の A の字もほとんど出てこない珍しいものになっています。一方で AWS は豊富な機械学習のサービスはもちろん ML Enablement Workshop 以外のプログラムも充実しています。これらを活かすことなしには AWS ならではのアドバンテージを発揮することは困難で、例えばユースケースの発見はML Enablement Workshop で行い AWS 以外の環境で実装する可能性もある状況でした。
ML Enablement Workshop を運営・改善する組織横断の運営チームを形成し上記問題の改善に取り組みました。 1) 現状の ML Enablement Workshop の体験を可視化し問題点を挙げる、2) 問題の分類と優先順位付けを行う、3) 解決策を検討し、反映した新しい体験を可視化する 3 ステップで改善を進めました。一連のプロセスに、試験的にシンプル化した Event Storming を用いることで解決策の検討と、 2) の課題解決の実効性検証を同時に行いました。
下図が実際行ったEvent Stormingの図です (ぼかしを入れています) 。左図は 1) ML Enablement Workshop 現状の体験分析、右図は 2) 優先度高い 4 つの問題(赤)への解決策(緑)を検討してます。お客様ワークなど本業がある中で運営に参加いただいているので、課題全てを解決するよりもインパクトのある課題にリソースを集中し十全に解決することを重視しました。
3) 解決策を検討し、反映した新しい体験を可視化しています。赤いポストイットに隣接するように緑のポストイットを置いていて、発生していた問題を解決策で解消することを表しています。
最終的に、誰が何をすることになるのか詳細まで洗い出しています。この後手順書に落とし込んでます。
改善版のポイント
初版の提供から得た学びを活かし、 ML Enablement Workshop 改善版は次の構成にしました ( 最初に紹介した構成です ) 。
理解編: ベストプラクティスの理解
応用編: 顧客体験改善への応用
開始編: 顧客体験の改善を開始する
理解編では機械学習の「勝ちパターン」とそれを体現した事例を学びます。機械学習の勝ちパターンとは、機械学習により顧客体験が改善する、改善するからユーザーが増える、ユーザーが増えるからデータが増える、データが増えるから精度が上がり顧客体験が改善されさらに・・・のループが回ることです。
勝ちパターンの構成を知ったうえで、機械学習の成功事例がなぜ成功になったのか分析する演習でさらに理解を深めます。
成功事例の成果に加え、成果の上げ方を知って頂くことでプロダクトマネージャーのモチベーションを上げる意図があります。さらに、お客様の経営層からワークショップへの期待を語って頂くパートを設けモチベーションを底上げしています。事例はお客様のデータサイエンティストの方にも出していただくパートを設け、ロール間の意見交換を促す仕掛けを入れています。
応用編で顧客体験を分析し勝ちパターンを成立させる流れを検討します。Event Storming を使用しますが、Big Picture、ユーザーの行動と課題/機会を発見するステップにとどめシンプルにしています。使うポストイットは基本3 つだけなので単純計算で 3 倍ぐらい単純です。 ML Enablement Workshop の改善で実際にこの手法を使ってみて上手くいったので、改善には手ごたえがあります。以下は、例として取り上げている「特定のブランドが好きな EC サイトのユーザー」の体験を「発売予定の商品のメールを送る」モデル/業務で改善する例です。いわゆる ( 勝ちパターンが成立しやすい ) 推薦の例ですが、自社プロダクトで本当にパターンが成立するかユーザーの体験をベースに分析していきます。この作業は、プロダクトマネージャー、開発者、データサイエンティスト全員で意見を出し合いながら行います。
開始編で機械学習の活用に向けた実現可能な計画を立てます。いきなり機械学習を行うのはハードルが高いことが多いです。機械学習に必要なインフラ、人材、チーム間の連携などこれまで経験したことがない技術的・組織的課題が表出するためです。実際、ユースケースのポテンシャルは高いものの実行されない事態が見られました。そのためデータに基づく業務から始めて効果を確認しながら投資と規模を徐々に拡大していく計画を作成します。
コンテンツの改善、構成の改善によりプロダクトマネージャーのモチベーション、 Event Storming の複雑さ、計画作成の時間がない課題の解決を図っています。
さらなる ML Enablement をめざして
4 点目の AWS ならではのアドバンテージを活かす方法について解決策を検証しています。その一つが、 AWS のサービスのパワーを活かして 2 日で本番実装まで行くことを目指す Prototyping Camp です。推薦機能を実装できるAmazon Personalize を使った Camp について manebi 様に参加ブログを書いていただきました。
適用したい勝ちパターンが AWS のサービスと適合する場合に Enablement の速度を高めるべくこのような集中型プログラムが適しているのではと感じています。Camp のコンテンツについてもまとめていく予定です。また、機械学習のインフラ構築などを支援するプロトタイピングチームと連携し、機械学習を始める腰が軽くなるアセットの開発を検討しています。プロトタイピングチームにはフォントを制作するモリサワ様でデザイナーなど非エンジニアでも使いやすい学習パイプラインの構築などを支援した事例があります。機械学習を始める時に AWS が一番サクッといけると評価いただけるよう、関係するチームはどんどん巻き込んでいく所存です。
今は、生成系 AI の活用が注目を集める分野です。この領域でも勝ちパターンに沿ったプロダクトへの活用をどのように進めていけばよいのか、現在コンテンツを作成中です。まず第一報として 2023/5/30 のイベントでお話しするので関心ある方はご参加ください。
ML Enablement Workshop は今後も活きた機械学習活用の知見をお伝えすべく更新していきます。関心ある方はぜひ Star + Watch 頂ければ幸いです！
ML Enablement Workshop や機械学習の活用に課題をお持ちの方はカジュアル面談をしていますのでぜひ気軽にお声がけください(※この面談は機械学習の活用相談をする枠で、AWS の採用などにはつながらないですし AWS のサービスの使い方を説明するものでもないのでご了承ください)。
さらなる ML Enablement を目指して、引き続き活動していきますのでよろしくお願い致します！
この記事が気に入ったらサポートをしてみませんか？