データ分析のときに気をつけていること
こんにちは。株式会社ビズパのプロダクト開発チームの白鳥です。
こちらはビズパプロダクトブログの記事になります。下記マガジンから過去の記事を見ることができます。毎月なにかしら記事が追加されていく予定ですので、興味があれば是非フォローしてみてください！
今回はデータ分析について書いていきます。
ビズパでは、A/Bテストを定期的に実施したり、ユーザーの行動データなどを取得してサービスの改善に努めています。そんなデータ分析のときに気をつけていることを書いていきます。
統計的に有意な差が出ているか
A/Bテストの判定には統計的に有意な差が出ているかどうかを見ています。
例えば会員登録率の改善のA/Bテストを実施していたとして、会員登録率が本当に改善されているのか、たまたまの偶然でいい数字が出てしまっただけなのか、有意差を計算しています。
スプレッドシートでA/Bテストの結果について残しており、有意差が出たのかどうか、その結果を受けてA/Bテストを採択したのかどうかも含めて記録しています。
重要なのは、有意差が出ていないということは、効果がなかったわけではないこと。ある程度の母集団が作れないとなかなか有意差が出なかったりしますが、永遠にA/Bテストをやっているわけにもいかないため、あらかじめテスト期間を決めて実施し、有意差が出たかどうかも含めて採用の判断を行っています。
有意差が出なかったらA/Bテストの内容を採用しないというわけではないですが、有意差が出なかったけれども採用した、という記録を残しています。
仮説を反証するデータがないか分析する
ビズパでは会員の登録経路別のデータも追っているのですが、PCで会員登録した群とスマホで会員登録した群を比較したところ、スマホで会員登録した群の方がアクティブ率は低いものの、アクティブユーザーに限ってみるとPCのそれよりもアクティブであることがわかりました。統計的に優位な差も出ており、スマホの機能開発にも力をいれるべきではという意見が上がりました。
そこでさらにデータ分析を行ったところ、
PCとスマホの両方を使っているユーザーはアクティブ率が高い
スマホで会員登録した人は、PCで会員登録した人と比較して、PCとスマホの両方を使う割合が高い
スマホしか使わない人は、PCしか使わない人よりもアクティブ率が低い
といったことがわかり、単にスマホの機能を充実させていくのではなく、PC×スマホの両軸でプロダクトを考えていくべき、といった方向へ持っていくことができました。
このときは各指標に対して相関行列を作成し、PC/スマホでそれぞれの指標がどの程度影響を及ぼしているのかを調べていきました。相関行列は各指標の関係性が視覚的に見えるのが良い点です。
数字は嘘をつきませんが、一面から見た数字が真実とは限らないため、あらゆる角度から数字を見ていくことを大事にしています。
数字と真摯に向き合う
元となるデータが間違っていたり、途中の計算式をミスしていたり、分析の過程で間違いを起こすことはよくあります。
数字は嘘をつきませんが、数字を扱う人間は間違えるんですよね。なので検算は念入りに実施しています。
また、データを見ていると、つい自分にとって都合のいい数字を集めがちになってしまいます。苦労して作った機能はユーザーに受け入れられていて欲しいし、売上や利益に繋がっていて欲しいです。良さそうに見える数字を使いたいし、悪い数字は見なかったことにしたい。頭でわかっていても、無意識にバイアスをかけてしまうこともあります。
ただそれは、判断を歪めてしまうことになるので、数字に対しては常に真摯に向き合わないといけません。
社内で数字を共有するときにも、事実と意見を分けるということはかなり意識的にやっていて、「関連がある」と「関連がありそうに見える」というのを分けていたりします。
さいごに。
ビズパでは仲間を求めてます！
エンジニアも、そうでないポジションもありますので、ご興味のある方は是非、カジュアルに面談をしてみませんか。
白鳥もデータ分析の専門家ではないので、このあたりの知見が深い方とはぜひお話してみたいです！
▼採用HP
▼ご応募はこちらから！（カジュアル面談エントリーも）
▼Bizpaのことをもっと知りたい方はこちら！
この記事が気に入ったらサポートをしてみませんか？