アクセス解析には詐欺師が潜んでいる
皆さんこんにちは。
ギャプライズ鎌田(@kamatec)と申します。
登壇、インタビュー記事を見ていただくとざっくりどんな奴かわかるかもしれません。
さて本題です。
最近うちの社内で新人からこんなことを聞かれました。
「このサイトは直帰率30%で低いから問題ないですかね？」
こりゃまずいと思って筆を取った次第であります。
今日お話しするのはアクセス解析データの解釈に関するお話しです。
他の業界はわからんのですが、ことアクセス解析に限って言えば、昔から『高い＝良い』とか『低い＝問題』みたいな単一側面だけで良し悪しを語られることが多い、気がしています。
また「PV数に比例してコンバージョン率も上がっているので、2つのデータは関係している」みたいな相関の説明だけで因果関係については語られずに終わることも多い、気がしています。
ちょっと大げさな例で紹介します。
下記の図を御覧ください。
この図が「PV数とコンバージョン率の推移をグラフ化したものです」ってもし出されたら、誰でも「へー相関してるじゃん」って思いますよね。
でこれをそのまま因果があるととらえて、「じゃあCVあげるためにPV数もっと上げていきましょう！」みたいな会話が割と平然となされているんじゃないかと。
実は上記の図は「一人当たりのチーズ消費量」と「ベッドシーツに絡まって死亡した人の数」を並べたグラフで、いわゆる疑似相関とか言われているものなんですが、そこから因果を見つけ出すのは中々難しいわけです。
しかし解析のデータになった途端、グラフがそれっぽくなってるだけで許される世界がそこには存在しています。
何がいいたいかというと、データは「観点」次第で良くも悪くもなるんだよってことです。
冒頭に上げた直帰率の例にしても「30％」という数字だけを見て良し悪しを決めるなんてのは出来ないわけです。
昨今の『データドリブン』みたいな言葉によって、ことさら「データは客観的である」という風潮が強い気がしてるんですが、実際データなんて見る人の主観と観点によっていくらでも変わるし、その観点が入ってなければただの「情報」であり「データ」ではないんじゃないかと思うのです。
話し手も受け手も、このあたりの前提を理解しないまま話しをすすめると、いつしかあらぬ方向に話しが進んでしまうので大変危険です。
そこで今日は特に勘違いしやすい、騙されやすい数字と、実際そのような数値とどう向き合い、どう読み解くべきなのかについての考察を書いてみたいと思います。
それではいってみましょう。
※尚、本記事は社内の新人向けに書いてるので、アクセス解析に馴染みのある方々にとっては多分当たり前すぎてつまらないと思います。そういう方はサクッとページを閉じてしまってください。
危ない数字1:ページ滞在時間
最もわかりやすく誤解されやすい数字がこの「ページ滞在時間」ではないでしょうか。オウンドメディアを立ち上げる会社さんも増えてきて、比較的ウォッチされるケースが多くなってきている印象です。
まずこの「ページ滞在時間」によってどんな誤解が生まれるのか？
これに関してはまずアクセス解析における「ページ滞在時間」という数字がどのようなロジックに基づいて取られているかという所から少し説明しておきます。
※ここからアクセス解析は最も代表的なツールであろうGoogleアナリティクスのデフォルト設定で取得した数値であるという前提で話しを進めます。
一言でいうとGoogleアナリティクスにおけるページ滞在時間というのは「次のページを閲覧開始するまでの間隔」を表したものです。
つまりどういうことか。
・1ページだけ閲覧して去ったユーザーの滞在時間
・閲覧の最後に見ていたページの滞在時間
は0秒になってしまうのです。
もう少し具体的な例にしてみます。
上記の記事は手前味噌で恐縮ですが、弊社メディアで直近アクセスを集めた記事です。
公開後3日で
・4,000PV
・平均ページ滞在時間6分21秒
という結果でした。
これだけ見るとどうでしょう？1記事に対して約6分ですから比較的読んでくれているのかな？という印象を持ちます。
はたして本当でしょうか？
これを検証するためにClicktaleというツールを使って別の視点から見てみます。
このClicktaleというツールでは滞在時間とはちょっと概念が違う、Engagement time(エンゲージメントタイム)というデータが取得できます。
これはどういうものかというと、「マウスがアクティブに動いていた時間」を計測しています。ページ滞在時間よりも「ページに着目していた時間」に近いデータを取れるイメージです。このデータには直帰したユーザーも入るので、0秒になるという概念はありません。
このEngagement timeがどうなっている見てみると
「1分46秒」と出ていました。
ページ滞在時間は「6分21秒」ですから、開きは「4分35秒」もあります。
こうなってくると先程の「6分だったら結構長いんじゃね？」っていう見解はまったく変わってしまいますよね。
でもこれ、実は当たり前です。なぜか？
それはこの記事の直帰率が高いからです。以下をご覧ください。
この記事に来たユーザーの97%は離脱しています。
冒頭に上げたとおり、ページ閲覧時間は「次のページを閲覧開始するまでの間隔」ですから、97%はページ閲覧時間の分母に入っていません。
この「6分21秒」という数字は残存した3%を分母とした偏ったデータになっているのですから高くて当然なわけです。
じゃあ先程Engagement timeとして取得した「1分46秒」という数字は短いから問題なのか？というとそういうわけでもありません。
以下の記事で詳しく分析されてますが、
実際は「記事をシェアする」という目的で来るため、「シェアボタン押してすぐ離脱する人」もそれなりにいます。この行動は滞在時間を下げる行為ですが、悪い行動ではありません。むしろウェルカムです。
ここまででもすでに単一の数字だけを見て「高い」とか「低い」という議論をすることがどれだけ危険かというのがわかるかと思います。
危ない数字2:直帰率
滞在時間と合わせてよく見られる数字の一つに「直帰率」があります。
ですがこの直帰率も結構危険な数字です。Googleアナリティクスのヘルプを見ると、直帰率は
「Google アナリティクス サーバーに対するリクエストを 1 回だけ発生させたセッションを特に区別して直帰として扱います。」
と定義されています。
つまりどういうことかというと、
・3秒で直帰したユーザー
・10分以上熟読した上で直帰したユーザー
が「同じ人」として扱われるのです。店舗に例えると「チラッと店頭商品だけ見て去っていった人」と、「10分以上同じ商品を手に取りながら悩んでいる人」を同じ人として扱うという話しです。
特に最近は検索エンジンの進化やSNSの台頭による影響で、TOPページではなく、目的のページに直接訪問するケースが増えて来ています。つまり直帰率が上がりやすい構造が出来ているということです。
代表的な例でいえば求人ポータルサイトです。
Indeedの普及によって、「Indeedで検索」→「求人詳細ページに直接流入」という経路は確実に増えています。
ここで想像してみてください。もしあなたがすごく良さそうな求人を見つけて興味を持ったとします。仕事内容や条件も良い。
こんな時あなただったら次の行動として何をしますか？
僕の場合ですが、「社名」で検索しなおしてその企業のホームページを見に行くと思います。はい。この時点で直帰です。
でも少し振り返ってほしいのですがこの行動って問題でしょうか？
求人を見てモチベーションが上り態度変容が起こり次のステップに進むというのは、むしろ求人サイトがもたらすポジティブな側面といえるのではないでしょうか。
このように直帰率に関しても数値の上下だけによって良し悪しを判断するのは難しいというか危険ということです。
「低い＝良い」という状態かもしれないので「直帰率が高いことは悪いこと」という固定概念だけで判断されてしまうと、実はビジネス上プラスなものをマイナスとして評価してしまうということですから。
危ない数字3:PV(ページビュー)数
これも多い＝良いとされる代表的な数字でしょうか。
これについては、僕が世の中でなくなってほしいものベスト10に入るくらい嫌いなものを使って説明します。
そうです。私がページャーです。
このメディアを大きく見せるために作られた機能によって、PV数というものは意図もカンタンに操作されてしまうわけです。ユーザーは一切望んでないのに。
一昔前であれば読み込み速度の問題もあるので、分けることにも一定の意味はあったと思いますが。世の中5Gとか言ってるわけです。Googleにだってモバイルからはページャーなくなってるのに。
もしドラえもんの「もしもボックス」があったら「もしもし、ページャーのない世界だったら、、」と唱えてます。
すいません、個人的感情が入りすぎました。
そもそも、僕が使いやすいと思うサイトは「遷移数が少ない」サイトの方が多いです。
その最たる例がAmazonです。明らかに他のECサイトと比べると購入までに必要なページ遷移数は少ないですよね。
それ以外にもネットフリックスだったり、ZOZOだったり、使いやすいと思うサイトは、一発目から期待する結果を出してくれるので1人あたりの平均PVは減っていって然るべきと考えてもある種自然なわけです。
このように市場の環境やテクノロジーの変化によっても数字の良し悪しはカンタンに変わります。
危ない数字4:CV（コンバージョン）率
これは僕が仕事上サイト改善に携わることも多いので、特に目標値として置かれることが多い数字です。
ですがこれも単一的に追っていると大変危険です。
なぜか。流入経路によってカンタンにブレるからです。
わかりやすい例をあげるとするならば例えばECサイト。
先月は広告中心の集客をしていて、CV率が1%でした。今月は期末で予算も絞られていたので、メルマガ中心の施策でCV率は3%でした。
チームとしては平均2%のCV率を目標に置いていたので達成できました。
やったね！
もはや集団詐欺に近い話しです。CV率を目標に置く場合は、変動性が少なく定点的に観測できる流入経路に絞って見ていかないと機能しません。
それくらい流入経路によってカンタンに上下します。
またCV率もまた「高い＝良い」と言い切れない数字です。
先程のECサイトの例でいえば例えばCV率が10%とかいっている状態というのは、「適切な投資が出来ていない」可能性が高いです。
いままで数十社のECサイトCV率を見てきましたが、概ね1～3%くらいの中に収まることが多いです。にも関わらずCV率が10%というのは、「取れるところだけを取っている状態」つまり「シュリンクしている状態」である可能性も大いにあるわけです。
あとこれは最近特に感じているのですが、
「CV率が上がる＝グロースする」
という状況はだんだん減ってきているように感じます。
ではどういうプロセスで成長するケースが多いかというと、
CV率があがる→CV件数が増える→機械学習の精度があがる→CPAを最適化しつつ的確なCVが取れるようになる→グロースする
という流れが増えてきている印象です。下記の記事になぜそのような状況になってきているかという点について触れられていますが、
特に広告運用の世界は日々中身がわからなくなってきている状況です。いかに効果的に「機械学習させるか」が成果と連動する世界に入ってきていると感じます。
こんな状況の中で広告側の指標を含めず、単一的にCV率だけを追うことの危険性というか機会損失をする可能性はどんどん増していっているのではないでしょうか。
データの罠に嵌まらないために
では、ここまでに挙げたようなデータの罠にはまらないためにはどうしたらいいのか？基本的には
・差を見る
・変化を見る
という2点を踏まえてデータを見るということではないでしょうか。
例えば先程の直帰率であれば、「SEOから流入してくる記事」と「SNS経由で流入してくる記事」の差だったりとか、CV率であれば、時間帯や季節変動による差だったりです。
さらにその差や変化が「なぜ」起こったのか？という「観点」を加えることでデータは初めてデータになりえるのではないでしょうか。
とまあ言うは易く行うは難しで、実際はその差を見出すためのセグメント設計が一番難しいわけですが、気づいたら割と長文になっていたので今日はこの辺にしておきます。
なんだかアクセス解析に従事してる方々には釈迦に説法感満載の記事になってしまいましたが、業界未経験の方が入った際の基礎知識として見ていただけたら嬉しいなと思います。
なお本記事の執筆中に、下記の良記事を拝読しまして内容はかなりこちらの記事にインスパイアされております。
データについての理解やあり方についてより深く考えたいという方は上記の記事も個人的にすごくオススメなので読んでいただくと良いのではないでしょうか。
それではまた次回。
【ABテスト関連記事】
「ABテストツールの選び方がわからない」という方向けに、失敗しないABテストツール選びのポイントをまとめました。よろしければご覧ください。
この記事が気に入ったらサポートをしてみませんか？