見出し画像

LLMを活用したプロジェクトのプロダクトマネジメント

arai takashi / product manager

mentoでPMをしている荒井です。

mentoは、月3万円からプロのビジネスコーチがつけられるオンラインサービスです。現在は法人向けの「mento for Business」に注力してます。

会社としても個人としても初めてとなる、LLM(大規模言語モデル)を活用した「AIサマリー」プロジェクトのプロダクトマネジメントについて書きます。

AIサマリーとは、コーチングを録画するだけで自動で内容が要約され、コーチング対象者およびコーチが受け取れるサービスです。

公式のプレスリリースです↓↓


企画背景：管理職は忙しすぎる。必要なのは押し付けない支援

コーチングにおいては、経験学習サイクルを引き合いに、業務での実践と振り返り(内省)が重要と言われます。

mentoがサービスを提供するのは、1日の予定がぎっちり詰まっている忙しい管理職です。60分のコーチングセッションの時間を確保することも難しいような管理職が、セッションに向けた事前準備やセッション後の振り返りに十分に時間を割くことはもっと難しいです。

とはいえ、社内の会議や1on1でも同じですが、話した内容は議事録やメモに残さないとどんどん忘れます。業務や社内ミーティングが連続してるならなおさらです。

😥事前準備や振り返りは「やった方が良いと理解してるけど、忙しすぎて時間が取れない」
↓
😣経験学習サイクルがうまく回らない
↓
😫コーチングから受け取る価値が少なくなる

このネガティブなサイクルを、管理職に負担を押し付けない支援でポジティブに変えたい。

👱🏻管理職：経験学習サイクルが継続的に回り、チームや組織のパフォーマンスが向上する
👨🏽コーチ：コーチング対象者との対話により集中でき、本質的な付加価値にフォーカスできる

AIサマリーがあることで、こんな成果をサポートしたい。

AIプロジェクトで大事なこと

プロダクト開発において、機能要件・非機能要件という受け入れ基準があると思いますが、今回のプロジェクトで特に大事にした2つの非機能要件があります。

🛡️1.プライバシー保護 / セキュリティ

コーチングで取り扱われるテーマはさまざまです。会社の戦略につながる話、社内メンバーとの関係性の話、個人のプライベートな話など。
本来はクローズドな空間での1対1の対話であるコーチングに、"録画される""要約を受け取る"という新しい体験が追加されることになります。
コーチング対象者もコーチも、プライバシーやセキュリティは一番気になるポイントだと思います。

そこで、行った対応がいくつかあります。

1.社内用にデータセキュリティ説明ポリシーを作った
書籍『生成AI時代を勝ち抜く事業・組織のつくり方』でも、「大企業向けサービスの場合、データセキュリティはしつこい位ユーザに保証する」と記載されています。
セールスやサクセスの担当者が取引先etcから説明を求められることもあると思います。先回りして準備しておくことにしました。

2.利用規約を変更した
元々の利用規約では、録画データの取り扱いを広く定めておりましたが、AIサマリー提供開始に先立ち、範囲を狭めることにしました。

3.機能ガイドページを用意した
冗長になりすぎず、プライバシー保護の観点で安心できるAIサマリーガイドページを用意しました。

4.コーチ説明会を行った
mentoではコーチとのコミュニケーションでSlackを使っていますが、今回は同期的に集まり説明する場を設け、事後的に懸念点などをアンケートで収集するなどしました。
コーチが安心してくれたうえで価値を感じ、コーチからコーチング対象者にAIサマリーを勧めてもらえたら最高に嬉しいな。

コーチ説明会の資料

🎯2.精度

ここ1年で生成AIを使ったプロダクトが多く登場しましたが、クオリティの期待値がすりあっていないことで、同じプロダクトでも「すごいじゃん」と思う人もいれば「全然ダメじゃん」と思う人もいます。
プロダクトに求める"当たり前の基準"が上がっていると考えられ、リリースしたその瞬間から一定水準の精度・全体での品質が求められるといえます。

こちらも行った対応がいくつかあります。

1.評価とリリース基準の設定
AIプロジェクトの経験豊富なデータサイエンティストに主導してもらい、精度の評価観点・評価尺度とリリース基準を設定しました。

ちなみに、評価尺度は「絶対にリリースしちゃだめ」「リリースにあたって不安がある」「許容できる」「完璧」の4つです

2.期待値を上げすぎないライティングを意識
梶谷さんのツイート(※)やnoteで言及されているアドバイスそのままに、"期待値を上げすぎない"をライティングガイドラインに追加、プロダクト内のテキストに反映しました。
※意地でも「Twitter」「ツイート」「リツイート」と言い続けちゃう一味

3.2段階の社内テスト実施
後述します

AIプロジェクトならではの苦労

何に苦労したか振り返ってみると、最もコントロールしづらい不確実性＝精度につきます。

AIサマリープロジェクトでは、精度の検証(社内テスト)を2段階に分けて実施しました。

1.開発初期のオフラインテスト
プロジェクトを進めるうえでの最も大きな不確実性である「意味のある要約が出てくるのか？」をまず検証しました。コーチに協力いただき、擬似的なコーチングを複数回実施したデータを使い、評価をフィードバックしました。

2.開発後期のリリース前テスト
実際の体験に近いかたちで、社内メンバーが定期的に受けているコーチングにAIサマリーを適用し、評価をフィードバックしてもらいました。

オフラインテストで問題なしと判断できたバージョンと要約フォーマットをそのまま採用して開発を進め、リリース前テストを実施したところ、評価尺度のうち「絶対にリリースしちゃだめ」というフィードバックをする人がちらほら。

想定しきれていなかったのですが、オフラインテスト用の擬似セッションと実際のセッションでは、話す内容や話す比率、セッションの環境などにも違いがありそうでした。実際のセッションでは、関係性の築けているコーチとハイコンテクストな対話をします。書き起こしデータを人が見ても「？」なのに、AIならなおさら。

数回バージョン変更を重ねるものの、一向にメンバーからの評価がリリース基準を超えなかったため、リリース延期を判断。
要約フォーマットの見直しをするために、LLMを使った類似プロダクトのリサーチのやり直しもしました。

元々の想定では、できるだけ簡潔に要点を押さえたAIサマリーを考えていましたが、初手としては"ハルシネーション(言ってないことをAIが勝手に言ってしまう)が起こらないこと"の重要度を上げ、要約の分量が増えることは許容するという判断に切り替えました

録画した音声の書き起こしの精度、要約しやすいフォーマット、ハルシネーションが起きにくい文量など、一定要約の精度はコントロールできるものの、完全にはコントロールできないという難しさがAIプロジェクトでは当たり前に起こるのだと学びがありました。

プロジェクトの進め方

最後にプロジェクトの進め方で工夫した点についてかんたんにご紹介します。

✅ターゲット整理
- AIサマリーは誰に使ってもらうのか。誰にとっては不要なのかを整理。
- 自信のある機能だけど、無理に使ってもらうことはしない

✅概念整理とネーミングの決定
- mentoがこの先どのようなプロダクト群を作っていくのか、AIをどこで活用するのかお絵描き
- 現在の提供価値とアップデート後の未来の提供価値をふまえたときに、ネーミングはその価値を適切に表現できているかどうか

✅ユーザーストーリーマッピングとチームQ＆A
- ショートカットするために、最初にPMがざっと書き出し、その後チームで抜け漏れを加筆し、すり合わせをしています
- Amazonの採用する「PRFAQ」を参考に、チームやステークホルダーから気になることを洗い出してもらい、要求に反映していきます。
- これらのステップを踏むことで、考慮漏れが減っているように感じています。すべての観点をPM一人で網羅するのは無理があります。
- 認識が揃った状態でplanning、デザインと開発の着手ができます

✅定例
- プロジェクト開始後は、基本的には毎日定例を実施。アジェンダがある人は事前にnotionに記載し、議事録も残すようにしています。
- プロジェクト後半になると、アジェンダもなくなってくるのでskipすることが多くなります

✅ライティングガイドライン
- AIサマリーの対外的な紹介文や、プロダクト内で使う言葉・使っちゃいけない言葉などをプロジェクトの初期で定めました
- 以前ブログに書いた、mentoのライティングガイドラインに準拠しています

mentoのプロダクトのこれから

過去のユーザーインタビューのログを見返していたときに、「mentoを意識したことはありません」というコメントがあったことを強く覚えています。
コーチング対象者は"コーチとコーチングセッションをしている"のであって、"mentoというプロダクトを使っている"感覚はあまりない。

セールスやサクセス、約200名のプロフェッショナルなコーチのおかげで、mentoを導入・継続いただけるケースが増えているのは良いことではありますが、プロダクトチームのいちメンバーとしては、素直に喜べないのが本音だったりします。

今までは、"良質なコーチングへのアクセシビリティ"を高めるような、黒子なプロダクト開発への投資が多かったと言えます。

これから右端のフェーズへ

デジタルプロダクトで"コーチングの体験自体をアップデート"することで、mentoのミッションである「コーチングとテクノロジーの力によって日本の主観的ウェルビーイングを世界No.1に」に近づけるのだと思います。

AIサマリーはそのための1歩目です。

テクノロジーやっていくぞ！なCTOのブログも貼り付けておきます

We are Hiring !

プロダクトチームは、エンジニア・PM・プロダクトデザイナーの採用に奮闘中です。

採用情報やカンパニーデックを見て、少しでも「楽しそう」って思ってもらえたら、気軽にカジュアル面談しましょう。

🍎採用情報

🍊カジュアル面談日程調整

🥝わたしについて

https://twitter.com/ninjaad

おまけ

プロジェクトの途中でこんなツイートをしてました。

これのことです。やりすぎず、ちょうどいい🫶


この記事が気に入ったらサポートをしてみませんか？