見出し画像

「プロダクトを成長させる生成系 AI のユースケースを考えるワークショップ」を開催しました。

piqcy

2023/10/18 に、プロダクト筋トレコミュニティ主催で「プロダクトを成長させる生成系 AI のユースケースを考えるワークショップ」を開催しました。イベントには 32 名が登録し 21 名が参加、満足度は 5 段階中 4.8 、他の人にお勧めしたい度合いは 4.5 と非常に好評なイベントとなりました。

ワークショップで作ったアウトプットでコミュニティ内の Slack が盛り上がる、AWS としても ML Enablement Workshop の提供希望をいただくなど、コミュニティと企業双方にとって良い結果を出せたと思います。 Amazon では Working Backwards という仕事の進め方をしており今回のイベント企画もそれに準じて進めています。せっかくなので本記事では Working Backwards に沿ってワークショップの企画の流れと開催結果をお伝えします。


ワークショップ企画の流れ

Listen

Working Backwards はお客様の声を聴くことから始まります。今回のお客様はプロダクト筋トレに所属するプロダクトマネージャーです。プロダクト筋トレはプロダクトづくりにかかわる方のコミュニティで Slack では 4,000 名が登録しています。私はその中で機械学習、生成 AI 活用に関するチャンネルを立ち上げており、チャンネル参加者数はコミュニティ内の活動チャンネルで 2 番目に多くなりました。しかし、投稿が週に 0~1 件ととても少ない状況でした。

そこでチャンネル参加者に Listen ・・・アンケートを取ることにしました。プロダクトでの機械学習活用に関心ある方はどんなことを考えていてどんな課題を持っているのか、直接会話を通じ知りたかったので最初からイベントはオフライン開催と決めていました。自分が登壇した AWS のイベントでは登壇後にどれくらい訴求したコンテンツにアクセスがあったか数値をとっているのですが、オンラインでは参加者数のわりにアクセスが低調なことも背景にありました。

アンケートでは 21 名から回答を得て、イベントのコンテンツとして座学では「プロダクトへの生成AIの活用方法」、ワークショップとしては「ビジネスアイデアのディスカッション」がそれぞれ 1 位となりました。

イベントのコンテンツに関するアンケート結果

活用に当たっての課題は「社内に機械学習、生成系AIに詳しい人がいない」「仕事で使うにはサービスが安定していない」が 1 位でした。

生成系 AI の活用に関するアンケート結果

Define

Listen からみえるお客様の課題を次に定義します。アンケートからは、発展途上の生成系 AI をリスクを取ってまで実現すべきか具体的な応用例が見つからない課題があり、その解決策として活用方法を知りアイデアをディスカッションできる場を求めているのではないか、と推察しました。

Invent

Define で定義した機会や課題に対するアプローチを決めます。イベントの開催は今回が初めてなので、深読みせず浮かび上がったニーズに直接答える形のイベントを開催することにしました。

キーノートスピーチは、 BtoB と BtoC それぞれのプロダクトマネージャーから話していただけるようつてを駆使しお声がけし、最終的に Sansan 西田様 と Gaudiy 北川様 に快諾いただきました。感謝！

運営の中、また登壇いただく西田様、北川様にもイベントについてアイデアをいただきました。その中で特に、参加いただく方プロダクトマネージャーのレベル感がまちまちであることを想定し、ワークショップを通じ到達したいレベルを参加者が選べるようにしたのは大きな工夫になりました。

ワークショップの到達レベルの 3 段階

Easy はとにかくアイデアを出す！ Normal はアイデアのビジネス妥当性を検証できるようになる、 Hard は登壇いただく強いプロダクトマネージャーの方とディープに議論し素案を固める、と 3 段階にしました。

Refine

Invent を通じお客様はどんな体験をするのかストーリーを書きます。今回は↓のような感じで書いてました。

本イベントに参加するプロダクトマネージャーは、ポテンシャルがあると感じているものの専門知識がないため技術的不確実性の程度が図り切れない生成系AIに対し、実際リリースをした経験者の意思決定基準とリリース後の状況を知ることでリスク評価の程度をつかむことができ、同じプロダクトマネージャー同士でフレームワークに沿ったアイデアの発案と検証のワークショップを行うことでビジネスポテンシャルの高いアイデアを持ち帰ることができます。つまり、不安を軽減するとともに、チャレンジから得られるリターンを大きくできます。

企画時に書いたストーリー

Test & Iterate

成功状態を測る指標を定義します。今回は 1) 参加者アンケートの満足度、2) イベント実施後のコミュニティ Slack での投稿数をモニタリングすることにしました。 AWS としての Optional な指標として、イベントを通じた ML Enablement Workshop の提供希望数も設定しました。

ワークショップの実施結果

満足度は 5 段階中 4.8 、他の人にお勧めしたい度合いは 4.5 と非常に好評なイベントとなりました。

オープニングセッション

プロダクト筋トレ代表代行として Gaudiy  澁田さんにオープニングトークをいただきました。代表は小城さんですが遠方にいるため、今回代打をいただきました。

キーノートスピーチ

BtoB での生成系 AI 活用のポイントとして、 Sansan 西田様から「Sansan LabsのLLM活⽤から考えるLLMプロジェクトの要点整理」を発表いただきました。

正直この資料は全生成系 AI 開発に携わる人必須のスライドだと感じました。特にリリースにあたって何らかのクライテリアは決める必要があり、そのためのテストを構築するのが難しいという点は納得でした。機械学習では MLOps を構築するのは割と後半ですが、基盤モデルの場合プロンプトがとにかく早く簡単に修正できるのでいわゆる LMOps の仕組みは早めに構築しておくほうが良いかもしれないと感じました。 15 分の密度が濃い・・・！

続いて、最近リブランディングした Gaudiy 北川さんよりファンのコミュニティを創るBtoBtoC領域でのLLM活用について発表頂きました。

BtoC だと生成系 AI がどう受け取られるか読めない点がありますが、意外とAI に親近感を覚える人が多いとのこと。生成系 AI に関連するサービスを開発する企業はたくさん出てきているので、戦略の方向性としての早さ、安さ、広さ、深さが重要。ユーザーフィードバックをどう蓄積し活用するかのデータ戦略も差別化にとって必要不可欠になる、とのお話は実際 BtoC 領域で戦い続ける方の知見と感じしびれるものがありました。

資料は一般公開されていませんが、なんとプロダクト筋トレコミュニティ内で共有いただいています。参加して、「#9_機械学習_生成ai活用」に今すぐアクセス！！

ワークショップ

講演終了後、アウトプットを作成するワークショップに入りました。ワークショップ資料は ML Enablement Workshop の 3 部構成最初のパートである理解編をカスタマイズして作成しました。

北川さんの公演でも言及されたように、生成系 AI のユースケースは模倣されやすいため差別化につながるデータ戦略を立てることが重要なことをお話ししました。

じゃあそれってどうやって立てればいいの ? ということで、①顧客体験の改善、②利益、③モデルの改善ができているかをビジネスモデルキャンバスを使ってチェックします。

Normal / Hard の方はアイデアについてこのビジネスモデルキャンバスを作りディスカッションするところまで進んでいただきました。 Easy の方はとにかくアイデアを出す！というところをゴールにしました。

何はともあれ最初はアイスブレークから、ということで「生成系 AI 有名人クイズ」を行いました。アイスブレークの天才から生まれたアイデアで、当日も大変好評でした。

Easy ではブレインライティングという手法を導入し、シートを回覧しながらアイデアをどんどん出していっていただきました。

この手法は大変好評で、アンケートでも好評いただきました。特に、業界が違うプロダクトマネージャー同士でアイデアを交換することで社内では出てこないアイデアが見つけられた、という点はまさにコミュニティイベントのだいご味かと思います。

  • アイデア出しの仕組みがとても良かったです。LTもとても学びになりました。ありがとうございました。

  • 自分のアイデアだけでなく、他の人のアイデアもいただくことができ、普段発想できない角度からの意見ももらえたので有意義な時間になりました。

  • 今まで考えていなかったアイデアをもらえました。 チームの中でも取り組んでみてアイデアを増やしていきたいです

  • 短い時間で複数人とアイデア出してよかったです。

  • 業界の違う方からの様々な意見を意見がもらえて新鮮だった

Normal / Hard ではビジネスモデルキャンバスづくりまで行いました。議論が白熱しており、終了後に miro でさらに検討していただいた方も。プロダクト筋トレコミュニティ内の Slack では参加者の方々がキャンバスを共有してくださっているので、ぜひ見てみてください。

Hard は登壇者北川さんを交えたガチディスカッションを実施いただきました。アンケートから「少人数だったので、議論の密度が濃かった」とフィードバックいただき、 Hard ならでは歯ごたえがある議論が行われていたのではないかと思います。 ( 私は Easy のメンターをしていたので詳細はしらず )

クロージングセッション

最後にアンケートのお願い、澁田さんからの締めの一言で閉幕となりました。アイデアを次は検証、実現していくための計画を立てたい方のために AWS が公開している ML Enablement Workshop をご紹介しました。

おわったあとは・・・懇親会！運営メンバーが固まってしまったので参加者の方が何を話していたか定かでないのですが、こちらからみてめっちゃ盛り上がっていました。参加者同士が盛り上がれる空間が作れたのは開催者冥利に尽きます。

今回のイベントを実行するにあたり、 People Powered をかなり参考にしました。とくに「楽しくなければコミュニティじゃない」はその通りで、楽しんでもらうための工夫、集客を死ぬ気でやるのは徹底しました。

Next Action

またやりましょう！というのが基本方針です。オフラインイベントの効果が数字的にも計測できた一方、オンラインに比べやっぱり負荷はかかるのでこれまでの施策とどう組み合わせてポートフォリオを組み立てるのかが重要になります。この点は AWS は AWS 内、コミュニティはコミュニティ内で検討し、プロダクトでの機械学習・生成系 AI の活用をより盛り上げていきたいと思います。

本イベントの企画の始まりは、Life is Tech! の 窪田さん がプロダクトマネージャー向けの生成系 AI のイベントやっちゃいましょうよ！と盛り立てていただき運営の小城さんへのダイレクトアタックしたことが大きかったです。おかげで次につながる成果が得れたイベントになったので、今度は私がグイと牽引していきたいと思います！

この記事が気に入ったらサポートをしてみませんか？