Expediaグループが使うパフォーマンスとエンゲージメントのダッシュボード

ECサイトの表示速度が何秒短縮されると、売上がいくら上がるという話を耳にすることは多いが、そう単純なものではないようだ。

Expediaはマイクロソフトが運営する旅行サイトだがHotels.comやtrivagoなど錚々たる旅行サイトを傘下にする巨大グループだ。その一員であるVrboのインターンが性能とエンゲージメントの関係の可視化に挑戦した。

Web Performance vs. User Engagement

I participated at numerous meetings at Expedia Group™ where the following question was asked: What performance metrics should we track? The main issue is not the availability of performance metrics, but one that is meaningful to your website can be confusing and overwhelming.
“You make what you measure, so measure carefully”

この著者はExpediaグループの会合で「performance metrics（性能測定基準）をtrackすべきだろうか？」と質問を投げかけた。問題は性能測定を実現できるかどうかではなく、意味のある測定は混乱の元だというものだ。

結果的として性能に関してはPAR（最も重要な機能がクライアント側でレンダリングされるまでの時間）やTTFB（最初のバイトまでの時間）など５つの指標を用いることにした。

“My site loads in 5 seconds”
How many times have you heard something similar? First of all, we need to define what “load” means. Is that when the first pixels are painted (FCP) or when the load event was fired? Second, what kind of measurement was used? Is that 5 seconds average (mean), tp50 (median), tp90, or what?

「私のサイトは５秒でロードされる」という言い方があるが、一口にロードといっても最初のピクセルが表示された時間なのか、ロードイベントが動いた時間なのか、平均５秒なのか、tp50（メディアン）なのか。

Accurately understanding the effect performance has on user engagement is notoriously difficult to get right. How you measure user engagement then becomes something you must carefully consider, since it has a profound effect on the aforementioned understanding. Please note that this is different than user conversion. Usually conversion is attributed to users that bought something, or in Vrbo’s case, users that ended up booking a vacation rental.

性能がわかったとしてエンゲージメント、つまり購入や予約につながったかどうかを、どう考えたらいいのだろう。その結果、Vrboが到達したのがholy grail dashboardだ。

グラフの６がエンゲージ率。これとTTFBの相関を見る。

In the real world, most changes will have some impact to both performance and functionality. That’s the case for a recent change we made to one of our pages. In short, we converted a page from server-side rendering to client-side rendering while iterating on improving load performance.

ケーススタディとして、サーバ側でレンダリングしていたものをクライアント側でレンダリングしてTTFBとFCPが改善されたときを見てみる。

当初はFCPはエンゲージ率と相関があったようだが、レンダリングをサーバ側からクライアント側に切り替えたところ、FCPが改善されたのにエンゲージ率が悪くなったようだ。

Our hypothesis for the lower engagement rate is due to low-end devices having more difficulty to render the page client-side, and resulting in more users bouncing. It makes sense since it doesn’t affect the fastest buckets.

ローエンドの端末ではクライアント側でのレンダリングができなくなりバウンスしたのではと仮設を立てている。

結論として、パフォーマンスとエンゲージメントを関連付けるのは難しく挑戦のしがいがあると書いている。やっぱりそうだよなぁ。明らかにエンゲージに支障があるようなパフォーマンス劣化なら購買意欲も下がりそうだが、その逆を証明するのは一筋縄ではいかなさそうだ。