直感を超えて真実を手にする～RCT大全
はじめに
本記事は、DevLOVE Advent Calendar 2020 7日目のために書いた記事だ。
本記事は「テーマ② あなたが読んだ本は、きっと私も「年内に」読みたい」に沿って、「RCT大全 ランダム化比較試験は世界をどう変えたのか」という書籍を紹介させていただく。
「RCT大全」は、どんな本?
本書は、タイトルにあるとおり「RCT」についてその効果や成り立ち、周辺議論をとりまとめた一冊だ。さて、RCTとはいったい何だろうか。
「被験者を2つのグループにランダムに割り当て、介入の効果を測定するランダム化比較試験（RCT）」
これがRCTの定義だ。RCTという言葉に触れたことがない人であっても、実はこのRCTとは日々触れ合っている。（Web系の開発に関わった人ならば、「A/Bテスト」のことだといえばピンとくるだろう）
この実験のポイントは、なんといっても「ランダム」に被験者を抽出しているということだ。そのランダム化の威力について少し紹介したい。
スケアード・ストレート
非行少年を、刑務所において受刑中の凶悪犯罪者と対面させ行動の反省を促す「スケアード・ストレート」というプログラムがある。犯罪者の生生しい話を聞くなどして、非行の先に待ち受ける破滅をイメージさせ更生を図るものだ。ひところ、全米ではこの手法が一定の評価を受けていたらしい。確かに、ショッキングな将来を目の当たりとしたならば当座の行動はいくらか改善しそうなものである。
しかし、RCTが示したエビデンスは、スケアード・ストレートの受講は将来的な再犯率を上昇させる、というものであった。常識がひっくり返ってしまったのだ。
では、なぜ再犯率が上がってしまったのだろう？実は、RCT単体ではそこまで明らかにすることはできない。そもそも扱う対象が複雑すぎるのだ。そして、複雑であるからこそランダムに抽出した被験者群で優位な変化があるか、どう変化するかを捉えることに価値がある。
真実を受け止める覚悟はあるか
そして本書では、「真実をあらわにする」ことの難しさについても触れている。RCTというエビデンスがあっても、なかなかそれが受け入れられなかったり。また、「ランダムに被験者を選ぶ」というその性質上、倫理的に問題があるのではないかという議論が巻き起こったり（そしてそれは収束してはいないように見える）。
このように、本書ではRCTの効果、実績、そして立ちふさがる障壁についてあまたの事例とともに解説されている。
誰もが認知バイアスの罠に陥る
なんらかの新しい試みに対して、PoC(実証実験)を実施する。アンケートの結果は上々で、担当者も手ごたえを感じている。意気揚々と商用化に向けて開発を進め、リリースの日を迎える。すると、どうしたことだろう、誰も使ってくれないー。
こんな事象は、あらゆる現場で起こっているのではないだろうか。この段階で「誰も使わない」という事実を受け止め軌道修正するならばいい方で、PoCのアンケート結果をよすがに「きっとマーケティングが足りてなかったんだ！」とさらなる出血を続けてしまう…これもそう珍しいことではないだろう。
なぜ、そうなってしまったのか?アンケートに高評価で回答した人たちはどこに消えてしまったのか?
いやいや、そのアンケートでは「ビジネスとして成立する」エビデンスを得られていなかったのだ。「わざわざPoCに参加してくれる」というバイアス。「わざわざアンケートに回答してくれる」というバイアス。もしかして、そのPoCは本来有料で提供するものを無料で提供していたのでは?ーここに挙げたものでさえ、憶測でしかない。
「そのサービスを提供することでビジネスが成立することが有意に示される」ためには、バイアスを排した状態で実験するべきなのだ。そして、そのためにはRCTが強い武器になるだろう。（だからこそ、これだけA/Bテストが普及しているのだろう)
我々ソフトウェアエンジニアは、数値に根差したロジカルな活動を得意としているはずだ。それであっても日々認知バイアスの罠に陥り、長期的にみると正しくない選択をしてしまうことがある。
これからもたくさん間違うだろう、すべてにRCTを実践できるわけではない。そもそもRCTが絶対的な正義でもない。それでも、「これは常識だよね」「当たり前だよね」そう思ってしまったときにこのRCTの概念が頭をかすめるのであれば、蟻地獄のような認知バイアスから這い出られる可能性はある。
そういった、物事を見る際のパースペクティブを増やしたくて、本書を紹介させてもらった。なにがしか、皆さんの思考を揺さぶる事ができたのであれば幸いである。
この記事が気に入ったらサポートをしてみませんか？