考え方から始める統計学～RCT(ABテスト)を活用する

※全文無料です。

前回
https://note.com/kurosaki_kurozu/n/n46db379faab3

バックナンバー
https://note.com/kurosaki_kurozu/m/m3dfd9e022558

前回のまとめ

前回の記事の大きなテーマは、原因が結果に与える影響を正しく検証することでした。
対照実験の考え方から始まり、それに限りなく近い状態を作り出すランダム化比較試験(RCTまたはABテスト)によって、データの偏りをなくす手順を紹介しました。
RCTという手法の肝は、選び出したサンプルをランダムにグループ化することによって、グループ内での特徴を平均化して条件を揃えることです。

RCTでは必ず基準となる条件があります。
例えば、薬の投与の有無によって病気の状態を比較したいのであれば、薬を投与していないグループを基準とするといった具合です。
基準とするグループさえ決めてしまえば、それに対して比較対象となるグループの数は実は複数でも構いません。

さて、今回の記事ではRCTがどのように活用されたかについて触れていきます。

2008年アメリカ大統領選挙

RCT(ABテスト)が活用された例として有名なものに、2008年アメリカ大統領選挙におけるオバマ元大統領陣営の戦略があります。
オバマ陣営が支持者や支援金を集めるために目をつけたのがインターネットでした。

オバマ陣営はサイトを訪れた人々が、どうすれば自分たちを応援してくれるようになるかを考えました。
そこで、サイトトップに表示される画像から、登録ボタンの文言にいたるまで、どのように組み合わせれば支援者が最も増えやすいのかを調査しました。
そのときに用いた手法が他でもないRCTです。

オバマ陣営はサイトの来訪者ごとに、ランダムでサイトの表示を変更するようにしました。
そして、その中でも最もサイトの登録者が増加した組み合わせを探し当て、サイトの正式なデザインとして採用したのです。

こうした調査を行った結果、興味ぶかい結果が得られました。
サイトのデザイナーたちが本命だと思っていた組み合わせは、実際には支援者を集めるための最良の組み合わせではなかったということです。
そして、RCTで基準とした組み合わせは、デザイナーが本命だと思っていた組み合わせでしたが、実験によって選ばれた組み合わせは、本命の1.4倍の成果を叩き出しました。

用いられたRCT手法の解説

RCTの基本要素は、「グループ分けをランダムに行うこと」と「基準となる条件を定めること」でした。
サイト来訪者にランダムな組み合わせを表示したのですから、グループ分けはたしかにランダムに行われています。
基準となる条件はデザイナーたちが考えた本命の案です。

このように、今回の実験はたしかにRCTの基本要素を満足しています。

仮に、この実験を失敗させることを考えてみましょう。
例えば、サイト来訪者の位置情報に基づいてサイトの表示を決定するとしましょう。
その場合、元々のオバマ陣営への支持率が州や地域によって違いがありますから、サイトの表示ごとに支持率という条件が変わってしまいます。
時間帯によってサイトの表示を決定する場合はどうでしょうか。
生活習慣や労働環境が似ている人々に同じ組み合わせが表示されることになりますから、この表示の仕方も適切ではないことがわかります。

このように、RCTのグループ分けは必ずランダムに行われなければ、正しい効果の検証はできないのです。

最後に

今回はRCTの具体例を見てみました。
RCTはこのように便利な手法ですが、現実の問題を解決するにあたって、毎回RCTが使えるとは限りません。
そのような場合にどのような手法が使えるかを次回以降見ていくことにしましょう。

ここまで記事を読んでいただき、ありがとうございました。これより下に本文はありませんが、記事が良かったと思ったらご支援をお願いいたします。