施策優先度付けの中でのデータ分析の取り組み

データ分析は、意思決定において定量的な判断に有用な情報となります。
この記事では、多くある意思決定の中の1つとして、施策優先度の付け方について、その考え方をざっとまとめてみます。

なお、前提として、Webサービス上でのケースを想定し、そこでのユーザの定量的な分析が可能な上であるとしていますが、ある程度一般化した内容を目指しています。

施策優先度付けについて

ビジネス上での目標の達成のために、様々な施策がアイデアとして出てきます。
可能であれば全ての施策をすぐにでも実行したいところですが、現実的にはリソースによる制約などで、不可能であることが多いです。

制約の中で効果を最大限にするため、施策の中でどれから行うべきか、優先度を付けるということが重要となります。

RICEについて

RICEは優先度付けのフレームワークです。
詳しい説明は、以下の記事に譲りますが、

基本的な考え方は、以下のようにRICEそれぞれの観点で整理した上で、RICが大きくEの小さいものを選択することで、施策の費用対効果を上げる判断を行うというものです。

Reach: 影響を与えるユーザの規模
Impact: 影響を受けたユーザ単位の効果量
Confidence: 施策の確信度
Effort: 施策実行に必要な労力

RICE見積もりにおけるデータ分析

RICEによって見積もりを行う際に、データ分析がどのように行うとよいか、その考え方を次に紹介します。
特に、ReachとImpactが、データ分析による見積もりが効果を発揮する部分になります。

Confidenceは、勘と経験に基づく部分も多く、客観的に見積もることが難しいです。客観性を持たせるにはユーザに関する知見を日頃から蓄積していくというのが重要だと思います。もしくは、ある程度客観性を捨て、個人あるいや組織としての取り組みの意思を明確にし、それを反映するのも一つの考え方だと思います。
Effortは、施策実行に必要な労力で、プロジェクト管理上の工数見積もりの要素が大きくなり、本旨から外れるため詳細は割愛します。

ここで一番大事なのは、施策間で見積もりの考え方を統一することです。それによって施策間で相対的な違いが明確になります。
また、厳密性を重視しすぎる必要はないです。厳密性を多少落としてでも手早く施策のサイクルを回した方が、トータルで良い結果が得られるでしょう。これは、そもそも施策の手数がこなせるということと、サイクルを回すことで見積もり精度を見直す機会が増えることに起因します。

Reach

前述の通り、Reachは「影響を与えるユーザの規模」です。

例として、プロダクトの機能開発の場合には、対象となる機能を利用しているユーザがどの程度なのかというのが論点となります。
その集計の実作業にあたっては、どのように見積もるかは事前に決めておくべきです。例としては、一定期間のアクティブユーザ(つまりWAUやMAU等)に対する割合、あるいはオンボーディングユーザに対する割合など、様々な軸での考え方があります。
これは全体的な施策の目的や方向性に応じて、適した考え方を採用すると良いでしょう。

一方で、既存のデータでは判断が難しい場合も存在します。
例えば、新規機能の追加するようなケースです。現状ない機能を追加するため、当然集計から判断することは不可能です。
その場合、機能のターゲットとなる層の規模を一定の条件を定めて見積もっる、関連する機能の利用率からそのニーズを推定するといった手段が考えられます。これらはどうしても客観性に乏しくなるので、同時にConfidenceへの反映も考慮します。
データ分析の文脈から外れますが、ネットリサーチ等ユーザからのフィードバックを日頃から蓄積しておいて活用したり競合他社の事例を参考にしたりするのも選択肢に入るかと思います。

Impact

Impactは、「影響を受けたユーザ単位の効果量」です。
施策によってユーザごとにどれだけKPIが上昇するかといったものですが、これは更に見積もりが難しいです。

施策の与える影響は、複数の要因が絡み合った上でのユーザ体験の中で生じるものであって、それが既存の施策であっても過去のユーザ行動のデータから正確に導き出すことができないためです。
例えば、ECサイトでクーポンを配布し、どれだけユーザが購入してくれるかを考えます。過去に全く同じ施策を行っていたとし、同様の施策の効果を考えるとしても、時節性による購入需要や対象となるユーザ層の変動など様々な影響を受けます。そもそも配布クーポンに利用条件や割引額の違いがある場合もありますし、同時期に別のクーポンを配布していた場合はその影響を受けたりするので、「クーポン配布」という比較的シンプルな施策でも見積もりが複雑だと分かります。

とは言え実際のところは、ある程度割り切ってImpactを見積もっていくしかありません。
前述のクーポンの例であれば過去の似たクーポン施策の購入への効果をとってみたり、既存機能の改修であれば体験が変わりサービス行動が変化した場合のKPI変動を見てみたりといったイメージとなります。どうしても異なる性質のユーザ間の比較になってしまう等、一定ズレが生じるバイアスが含まれてしまうので、適当に見積もりに加味したり、Confidenceへ加味したりするのが有効です。

なお、過去の施策影響が分かり、それを参考となる場合もあります。
それはABテストを行っている場合です。過去に施策実施群と行っていない対照群との比較実験が行われていれば、それぞれの効果の差分がそのまま効果量となります。類似の施策の場合でも、そのまま正確な見積もりとして使えるケースは少ないと思いますが、一定の目安になります。

（施策単体の効果について、様々な要因の影響をなるべく少なくし、純粋な因果効果を見積もる統計的因果推論のような手法も存在しますが、実用性では課題もあり模索中です）

総括

施策の優先度付けに必要な見積もりにあたって、自分の思うデータ分析的な取り組み方をまとめました。
見積もりは必ずしも確実ではないですが、これらの情報を横並びでまとめた上で合理的に判断を行うことが重要だと思います。
判断をRICEで行う行わないを問わず、明確な基準で意思決定を行うことで、施策の方向性に対して周囲への納得感も得られるでしょう。