〜One Teamで同じ方向に進むために〜アウトカムをスコア化する試み
Rettyプロダクト部門執行役員VPoPの野口です。この記事はRetty Part1 Advent Calendar 2022の21日目の記事です。
※ RettyのアドベントカレンダーはPart2もあります！
今回は狙ったアウトカムを開発組織One Teamで実現するために、理想の状態をスコア化して開発ー経営間の目線合わせをしていく取り組みの事例をご紹介します！
「想定アウトカムの点数化」と「優先順位のスコアリング」
今回ご説明するのは「理想の状態を要素分解した想定アウトカムの点数化」の話です。開発ロードマップや優先順位決めでよく話題に上がる手法として「優先順位のスコアリング」がありますが、違いを示しておきます。
本題とは異なりますが、「優先順位のスコアリング」はこれはこれで大事な手法なので、関連する記事を紹介しておきます。
以下の記事はスコアリングによる優先順位決め手法として、狩野モデル、機会スコアリング、Weighted Scoring（重み付けによるスコアリング）などを紹介してくれています。私も定期的に読み返しています。
最近ではnoteのAsakoさんが書かれていた記事がわかりやすかったですね！（教科書的な内容で感謝 🙏 ）
Rettyの開発チーム
前提として、Rettyの開発チームを軽くご紹介します。Rettyは大規模スクラム（LeSS）で開発を行っています。開発体制については過去のnoteや、
直近の様子はエンジニアマネージャーの池田の登壇スライド・記事をご覧ください。
お店探しをするユーザーさんや予約集客をしたい飲食店さんをHappyにするために、複数チームでたくさんの開発を行っているわけですが、バックログは1つ。多くのユーザーストーリーの中から優先順位を決定していく必要があります。
想定アウトカムをベースに開発ゴールを決める
本題に入る前にRettyでのロードマップ運用について簡単に触れておきます。
Rettyでは通期や四半期で実現したい定性・定量の目標＝開発ゴールを定め、その状態を目指すべく優先順位を決定しています。
開発ゴールのイメージ・例
ビジョン・事業計画を念頭に
・定量：売上や予約数などの目標KGI or その手前指標KPIを1Q：◯◯→2Q◯◯にする
・定性：ユーザー or 飲食店に対して●●●を提供することで▲▲▲の状態になっている
通期や四半期の開発ゴール実現のために、いくつかのユーザーストーリーがまとまった固まり（一般的にはEpicに相当）ベースで優先順位付けをし、該当期間のバックログを作ります。
ここまでのディスカッションはPM（注：本記事ではPM＝プロダクトマネージャー）やエンジニアマネージャーが中心となって議論します。
経営陣とは理想の状態や事業計画との接続を議論します。メンバーとはプロダクトディスカバリーを踏まえてどんな価値を提供すべきか話し合い、開発の不確実性や工数感、どんな順番で開発物を提供していくべきかディスカッションするなどして、意思決定の判断材料を収集します。
前説が長かったですね〜ｗ ようやく本題。こちらの優先順位付けについてです。
優先順位はKGIに対してのインパクト×工数で決める
優先順位を決めるプロセスはこれまで試行錯誤しましたが、最近は概ねインパクト×工数で決めています。
最近ではインパクトについては、KGI数値インパクトを見立てた上で大・中・小に分類。そこに工数を加味して、工数対効果の良いものからデリバリーできるよう優先順位付けをしています。
数値見立ては過去の効果測定分析やプロダクトディスカバリーでの学びを踏まえて、できる限り精度高く見立てます。同じ工数でインパクトが大・小様々あるなら、インパクト大を先に実装する意思決定を容易に行うことができます。
インパクト大×工数小を優先する考え方は個人的に認定トレーナーをさせてもらっているEVeMのマネジメントの型も参考にしております。
工数が同じで、インパクトも同じかわからない場合はどうやって決める？
工数に対してコスパ良いものから開発していくとして、工数が同じかつインパクトが同じものがあるとします。
その場合はどうやって決めましょう？
どちらがビジョン実現に繋がるか今後の拡張性がどのくらいあるかなど論点はいくらでも見つけることができます。とはいっても、個々の専門領域や背景知識の違いもあります。開発ー経営間で目線を揃えるのは結構難儀です。
またそこに競合比較の要素が加わるとtoo difficultです。具体的な事例として、優先度を決める上で専門領域・背景知識の違いにより目線合わせが困難だったケースを挙げておきます。
KPIを積み上げや掛け算では分類できない場合
定性状態を具体的に記載しても、マーケティングやSEOなどの専門知識がないと説明がつかないケース
競合と比較してマストで実現したい価値ではあるが、点の施策ベースで書くと競合を後追いしているようにしか見えない
特に競合比較して「これはやらないとだよね」という機能価値はどうしても起こりえますよね。その領域においてはスタンダードな機能だと尚更です。ただこのWhyを雑に説明してしまうと大変。「それはビジョンを考慮せず、競合の後追いしているのではないですか😡」というお叱りを頂戴することになっちゃいます。PMのしくじりとして一度は経験したことありますよね？
点のストーリーとして、Whyを説明することは一人前のPMの方なら難しくないでしょう。ただせっかくチームで開発しているんだから、「どんな道のりを歩んでいくか」登り方を擦り合わせた上で歩んでいきたいですよね。
優先順位をデジタルにしすぎると、優先順位決めの振り返りができない
優先順位はインパクト×工数で決めると前述しました。この決め方以外でも冒頭で比較した「優先順位のスコアリング」は定量化されるが故に有無を言わさず決められ、スピーディーに意思決定できます。しかし、銀の弾丸ではありません。
過去デジタルにインパクトのスコアで決めすぎて失敗したケースがありました。単純に工数対効果のコスパが良いものからやったので、後から方針が良かった・悪かったかをレビューできなかったのです。Epic粒度の施策の固まりで良い・悪いを検証するだけなので、開発ー経営陣の間で抽象度を一つ上げた方針粒度での振り返りができないという状態に陥りました。
こういった反省を踏まえてどうやって擦り合わせていくべきか。非常に悩みに悩みました。ただどれだけ定量的にしっかり分析しても、定性的に丁寧に言語化を行っても、どうも不足しているなという感覚はありました。
紆余曲折あって行き着いたのが「プロダクトの現状と理想の状態を点数化してしまおう💡」という方法でした。
なぜスコアで表すことにしたか
RettyではPM（エンジニアやデザイナー、アナリストもだが）のスキル評価をスコアで表していました。これは5つのPMスキルを5段階で点数化したものでした。
定義された要素に対して基準を3〜5段階もしくは100点満点で採点をしていくと、かなりわかりやすいですね。
過去には全社でサーベイを入れて組織改善もしていたこともあり、会社全体として「スコアで現状の課題認識を擦り合わせて、改善していく」ことは上手くやれる感覚がありました。
専門領域が違う経営陣でも、点数として定量化されていてかつそれがわかりやすく要素として定義されているのであれば、目線が合いやすいのではないかと思いました。
よく考えてみれば、我々は子供の頃から科目毎の点数を上げるために勉強し、ゲームでもキャラの能力レーダーチャートを上げることに必死に向き合っていたわけです。なるほど、これだ！
実際にスコア化してみた
大人の事情でどれも抽象度高めに記載しますが、以下のようなものをスコア化しました
①ブランド提供価値事例
競合比較のブランド提供価値度合いを3指標×100点満点で点数化し、評価しました。
②SEO事例
SEOの施策実施状況について、6指標×100点満点で競合含めて採点しました。
色々点数化して計算したりしたものの、細かい点数だとわかりにくいので、S~Cにランク分けして、目線合わせしました。
大学の成績みたいに優・良・可・不可の4段階でもいいかもしれませんね。
どれくらいの時系列でスコアが改善され、それによってKPIがどう変わっていくかをリンクするようにしました。
もう1つスコアと似た事例として、野口がやっていたカスタマーサクセスの一部領域を切り出したプロジェクトにおいても、改善状況でランク分け（軍分け）をやってみました。
番外編：カスタマーサクセス関連の一指標での事例
カスタマーサクセス関連のある指標についてうまくできている店舗数の多い少ないで基準を設けて、1軍・2軍・3軍でエリアを軍分け→改善対象エリアの見極めを行いました。
こちらもただ件数目標を追うよりは定性的な状態目標とリンクされているので、その件数を達成すると一段階レベルが上がるという感覚を組織として持つことができました。
現在と理想の状態をスコア化して良かったこと
やってみた結果、階層間・専門領域跨ぎのコミュニケーションがやりやすくなり、向かうべき方向性が一致するようになってきた感覚を持っています。
今どこが弱いか・なぜ弱いかが擦り合うようになった
競合比較もあり、説明しやすくなった
どんな時系列でスコアが改善され、それによってKPIがどう変わるかがわかりやすくなった
開発リリース物のアウトプットやそれによって生まれる定性アウトカム以上に、グロースの道筋を理解してもらえるようになった
高い中期目標に対して、マイルストーンの目線が合いにくかったが、点数化されていることで、解消された
マイルストーンの改善を方針として設定したので、今後の振り返りもやりやすそうな予感
まだやってみて1四半期目なので成果はこれからなものもあります。しかし前述した番外編のカスタマーサクセス業務を切り出したチームでは、見事1Q目で目標を達成しました。上下階層のコミュニケーションも擦り合っており、やってみた効果が表れています。
スコア化する上での注意点
ただなんでもかんでもスコア化すれば良いというものではありません。
今回の
①ブランド提供価値事例
②SEO事例
については、いずれも外部の有識者に壁打ちを行っており、勘所がある程度掴めている状態でした。こんな流れで進めました。
フレームワークを外部からインプットする
↓
社内で採点する
↓
外部有識者に壁打ちする
↓
点数に従って目標設定
↓
グロース運用してみる
知識がないのに我流で突き進むのは大体うまくいかないので、組織として明るくない領域では無闇にスコア化すべきでないですね。
番外編：カスタマーサクセス関連の一指標での事例については、社内データアナリストチームによって綿密に分析され、この閾値を超えると大きなインパクトが期待できると既知になっている内容でした。これについても我々が明るくなりつつある領域だったので、スコア化しても問題ない分野ではありました。
まとめ
今回アウトカムをスコア化することで、目指す状態を可視化・擦り合わせていく試みについて、書きました。改めてのまとめです。
点数化・レーダーチャートでの表現は目標・理想のGAPや競合比較、成長ロードマップの認識が合いやすいので、定性言語化やKPI数値インパクトだけでは認識ズレがあると感じた時に非常に有効
マイルストーンを設置しやすいので、方針の振り返りも行いやすい
KGI・ビジョンインパクトが一番大事なので、スコア化された数値を鵜呑みにして、デジタルに決めすぎない（方が良いと思っているが、好みによる）
スコア化すると良くも悪くも決めたスコアにアンカリングされるので、スコアの算出ロジック・定義は知見が貯まっているものにするか、有識者の意見を参考にすること
スコア化も銀の弾丸ではないので、定量KPIや定性アウトカムではうまくいかない場合にのみ限るとは思います。ただtoB領域での顧客提供価値や新規商品の理想比較の完成度など色々適用できそうなケースはある印象なので、今後もアウトカムを最大化するために使える時は活用していきたいですね。
今回の記事は以上です。
Retty Part1 Advent Calendar 2022も Retty Part2 Advent Calendar 2022もまだまだ続きますので、以降をお楽しみに！
頂いたサポートを記事を書くためのインプットに活用します