m3.comKPI策定プロジェクト
「m3.com」は医療従事者に役立つ情報やサービスを発信する医療従事者専用サイトです。従来は主要KPIとして「DAU（Daily Active Users）」を計測していましたが、それだけでは課題を発見しにくいという問題がありました。そこでデータ分析グループが中心となってKPI策定プロジェクトを発足、他部署をまきこみながら新しいKPIの策定を推進しました。新KPIの運用開始により課題の可視化〜改善施策の検討がスムーズに行われるようになり、結果としてサービスのさらなる改善に貢献しています。
従来のKPIが抱えていた課題
「m3.com」には最新の医療ニュースや臨床情報など、役立つ情報が豊富に掲載されています。また医療業界に関わる様々なサービスが提供されています。そのような有益な情報やサービスをより多くの医療従事者に届けるため、情報発信の専門チームが日々改善に取り組んでいます。
従来、改善施策検討のために計測されていた主なKPIは「DAU（Daily Active Users）」でした。しかし日次訪問ユーザー数のみをKPIとする場合、1日1回サイトにアクセスしてもらうための施策に目が向きがちで、本質的な課題の把握が後手に回ってしまいます。そのため回遊性や情報発信精度の向上といったUX改善につながる適切な施策を起案しにくいという問題を抱えていました。さらに、ゴーイング・コンサーンの視点に立ってサービス提供を行うには常に利益を意識する必要がありますが、従来のKPIではコンバージョン金額との相関が確認できていないという問題もありました。
新KPIの策定は次のようなプロセスで進めました。
STEP1 KPI候補の洗い出し
計測可能なさまざまな指標を並べ、それぞれについてコンバージョン金額との日次相関を確認し、より相関係数が高いものをリストアップしました。
STEP2 KPI候補の絞り込み
KPIとして適切かどうかを見極めるために基準を三つ設定。基準に合うかどうかを念入りに検討していきました。
取得可能なデータであり、取得方法が多少変わったとしても影響が少ない指標である
UIの変更などに左右されすぎない指標である
サイトの運営担当者がある程度直感的に理解できる指標である
さらにその他さまざまな観点から問題点を洗い出すために関係者と何度もミーティングを重ね、最終的なKPI候補を絞り込みました。
当初、第一候補となっていた指標はページビュー数です。「訪問回数」の確認に最適な指標なので有力でしたが、一方「回遊性」を追うには完璧ではないという問題があり、最適解を得るため妥協をせずに議論を深めました。一度は決まりかけていたところでしたが改めて「探索的データ分析」を取り入れ、再び他の指標候補も視野に検討を再開。「探索的データ分析」は機械学習の特徴量作成等にも用いられる基本的な考え方です。機械的にさまざまな時間を区切り、複数の指標を作成して相関係数を確認しました。
議論と検討の結果、これまでのような「1日単位のユーザー数」ではなく「5分単位の来訪回数」を新たなKPIとして策定することになりました。この指標は「1日の来訪時間」と意味合いが近く、回遊性や複数回来訪にも大きく影響されます。さらに、日次利益との相関がDAUよりも0.2程度高いことが確認できています。
クリティカルな新KPIにより
新たな改善施策が続々リリース
KPI変更後、サイトの課題をリアルタイムで把握できるようになり、これまでほとんど検討されていなかった回遊性向上や来訪回数最適化につながる施策が数多く起案されリリースされました。
結果としてユーザーの行動にも変化がみられ、当初の指標であるDAUも、本プロジェクトにて策定した新指標「5分単位の来訪回数」も、いずれも昨年対比で大きく改善する結果となりました。日次利益への貢献にもつながっており、ビジネスインパクトの大きいプロジェクトとして評価されています。
多角的な分析・検討で
ナレッジの蓄積を実現
本プロジェクトの目的は「m3.com」の新たなKPIを策定することでしたが、進める中で副次的な成果も得ています。KPI候補を洗い出す過程でさまざまな分析を実施した結果「m3.com」にて提供されている各サービスの特性が明らかになりました。それにより、本プロジェクトにて策定した新KPIを優先するべきサービスとそうでないサービスの区分けもできるようになり、より意義のあるKPI運用が可能となりました。
ビジネス側の要請をしっかり取り入れつつ、妥協をせずにデータ分析の専門技術を駆使して検討を進めた点が、今回の成果につながった大きな要因だと考えています。
引き続き、今回策定した指標が狙い通り機能しているかどうかをモニタリングしつつ、得られた各サービスの特性に関する知見を横展開して、さらなる改善や新サービスの企画を推進していきます。