「EBPMの思考法」を身につけ、浸透させる！
「EBPMの思考法」を身につけ、浸透させる！このnoteでは、『経済セミナー』2019年4・5月号から2020年8・9月号まで、計9回にわたって連載いただいた、
青柳恵太郎・小林庸平「EBPMの思考法 やってみようランダム化比較試験！」
について、その内容を簡単に振り返ってみたいと思います。隔月誌で1年以上の連載でしたので、過去の内容など、もしかしたら振り返りにくい面があるかもしれません。ぜひ今回の投稿を参考に、この連載をお手に取っていただけたら幸いです。
■連載の流れを振り返る
まずは、第1回から順に各回の内容を簡単に振り返っていきましょう。
★第1回 EBPMの思考法の｢きほんのき」
第1回は、この連載の導入。近年、国内外の政策現場で注目され、実践されている「エビデンスに基づく政策形成（Evidence-Based Policy Making：EBPM）」という考え方がどんなものかの解説から始まります。
イギリス、アメリカの先進的な取り組みを紹介するとともに、日本で着目されるようになった背景や経緯、現状などをまとめます。
そして、EBPMを実施すると何がうれしいのか、エビデンスを「つくる」「つたえる」「つかう」とはどういうことかを吟味します。
さらに、この連載ではEBPM推進には「エビデンスをつくる」ことがカギとなるとして、そのための方法としてランダム化比較試験（RCT）にフォーカスすることの意義を解説します。
★第2回 統計的因果推論入門（1）
第2回では、「エビデンスをつくる」ためには、「政策を実施すると、その対象に変化が生じるか？ 生じるのであれば、その大きさはどの程度か？」という問いに対して、データに基づいて応える必要があること、そのための手法として「統計的因果推論」が重要であることをお話しています。
そのうえで、政策の「効果」とは何か、どのように捉えるのか、などの基礎的な部分から解説します。「放課後寺子屋教室」という政策を行った場合を想定した、仮想データを用いて実践的に取り組んでいきます。効果を測るためには「集団」を比較することになりますが、その方法を丁寧に学びます。
★第3回 統計的因果推論入門（2）
第3回でも、引き続き「放課後寺子屋教室」の政策効果を測ります。ここでは特に、統計的因果推論を行うために比較する際の理想的な環境をどのように用意するかを、実際に直面するであろう問題点にフォーカスしながら解説します。
キーになるのはセルフセレクションの問題で、回帰分析での対処法とその限界に着目した後、いよいよ「ランダム化比較試験（RCT）」でどのように対処できるのかを解説し、その威力を実感していただきます。RCTを使う際の留意点についても丁寧に解説されています。
★第4回 ランダム化比較試験の実施工程(1)
第4回から第8回までは、実際にRCTを進めるための工程を、1つひとつ解説していきます。以下の図のような工程です。事例は全体を通じて、「放課後寺子屋教室」政策の実施とその効果検証を扱っていきます。
第4回では、この工程の概要がざざっと解説されています。次回以降の基礎となる内容です。
RCTの全実施工程
何か有効性を検証したい政策案がある場合には、実際に介入を実施してみて、それを検証することになります。
連載では、従来から政策現場で、政策の本格実施前に試行的な実践の場として行われている「モデル事業」に着目し、これをEBPMの思考法に基づく政策・行政運営に活用するという方向性を提示します。そのうえで、モデル事業を「RCTを仕掛ける場」と捉え、そこで「エビデンスをつくる」ための具体的な工程を説明していきます。
★第5回 ランダム化比較試験の実施工程(2)
第5回では、工程②「サンプルサイズの見積もり」について解説します。モデル事業を行うにあたって、その対象の規模（サンプルサイズ）をどれくらいに設定すればよいか、という問題にどのように答えていくかを解説します。
サンプルサイズが統計分析を行うことができないほど小さければ、エビデンスをつくるためのモデル事業にはなりません。一方で、費用等々の問題から、サイズを大きくすればよいというわけでもありません（「モデル事業」なので）。
では具体的に、どうすればよいか。ここでは統計的仮説検定、検出力分析などの統計学の手法を解説したうえで、サンプルサイズを決める手順について実践的に解説します。
★第6回 ランダム化比較試験の実施工程(3)
第6回では、工程③「モデル事業の実施対象決定」、工程④「データ収集の計画」、工程⑤「ランダム割付の実行」について解説します。
「放課後寺子屋教室」のモデル事業を行ううえで、県内のどの学校を対象にすればよいのか。サンプルサイズを見積もって対象も確定できたら、実際にRCTを行うために必要なデータをどのように集めればよいのか。さらには、RCTを行う際に、ランダム割付をどのように行えばよいのか。これらの点について、詳細に議論していきます。
ランダム割付は、教科書的にくじを引いてもらってランダムに割り振るといった原始的な方法が実施できるのは、現実のプロジェクトは稀で、より実践的な方法としてどんなことが行われており、どのようにそれらを行っていくかについて解説されます。
★第7回 ランダム化比較試験の実施工程(4)
第7回では、引き続き、工程⑤「ランダム割付の実行」の解説から始めて、工程⑥「介入実施」についても解説します。実際にRCTを行うことになり、ランダム割付をしようとなった場合には、関係者の同意を得ることが必要があります。しかし、「ランダムに」政策対象となるか否かが割り当てられるといわれると、現実の政策現場では、公平性や倫理の観点から疑問が投げかけられたり、関係者に受け入れてもらうのが難しかったりすることに直面することｎなります。
そこで、この点を乗り越えていくために実際に用いられているさまざまな工夫を解説していきます。「応募超過法」「グループ内ランダム割付」「段階的導入のランダム割付」「境界周辺でのランダム割付」「ローテーションデザイン」「奨励設計」というランダム割付のデザイン上の工夫が紹介され、それぞれの内容と、メリット・デメリットを吟味していきます。
さらに、このように工夫したランダム割付を実行したうえで、どのように実際に介入を行っていくかについても、実践的な面も含めて解説します。
★第8回 ランダム化比較試験の実施工程(5)
第8回では、工程⑦「データ分析」に着目します。ここでは、介入終了後に収集したデータをどのように分析するかを考えていきます。データ分析のゴールは、介入群と統制群から得られる情報に基づいて、平均介入効果を推定し、介入が価値ある効果を生んだか否かを見極めることです。
それを実施するための具体的な方法を、ランダム割付の方法などの違いごとに、それぞれ細かく解説しています。具体的には、「単純ランダム割付の場合」「層別ランダム割付の場合」「クラスターランダム化比較試験の場合」ごとに、分析方法と留意点を説明します。
★第9回 「EBPMの思考法｣の実装に向けて
いよいよ最終回です。第9回では、RCTでエビデンスをつくるための実践の場としてのモデル事業の実施工程を振り返ります。次に、この連載では中心的に扱えなかった、RCT以外のエビデンスをつくる方法についても解説します。
具体的には、ランダム化比較試験が難しいような状況で、利用可能な「準実験（自然実験）」的な状況を見出して、データ分析により因果関係を見出すための分析手法です。ここでは「回帰不連続デザイン（RDD）」「マッチング」「差の差分析（DID）」が紹介されます。
最後に、「行政現場での壁と研究者の心構え」と題して、政策現場で実際にRCTやエビデンス活用を進める際にぶつかる壁について議論します。なぜそんな「壁」ができてしまうのか、分析者・研究者と現場の実務家との間にどんな背景の違いがあるのか、「壁」を乗り越えていくためにはどうすればよいかについて、実務経験豊富な二人の著者たちが説得的に語ります。特に最後に紹介される、以下の4つの心構えは非常に印象深いです。
① 実務者が抱える悩みや課題を、学術的にも意義ある研究設問へと昇華させられないかを考えるべき。
② 分析方法の検討にあたっては、現場での通常のオペレーションのあり方を尊重し、柔軟に対応可能であるという姿勢を示すべき
③ 長期的な関係構築の礎を築くための投資を厭わないほうが良い
④ どうしても譲れない部分は譲ってはいけない。
■演習課題と補足情報
以上のような内容で、連載「EBPMの思考法」を第9回にわたってお届けしました。この連載では、各回の内容を振り返り、理解の定着と、実際に分析などを手を動かしてやってみるという形で「演習課題」が設定されています。
以下のサポートサイトからご覧いただけますので、ぜひ取り組んでみてください！
また、著者の青柳恵太郎先生が代表をつとめる「メトリクスワークコンサルタンツ」のホームページ内の特に「ブログ」では関係者の皆さまが記事を投稿されていますし、「業務実績」では、実際に取り組まれているさまざまなプロジェクトが公開されています。ぜひご覧になってみてください！
もう一つ、著者の小林庸平先生たちが公表されたレポート「新型コロナウイルス感染症によって拡大する教育格差：独自アンケートを用いた雇用・所得と臨時休校の影響分析」が、最近話題になりました。直近の重要な問題から、新型コロナショックによる影響が将来にわたって残るすかもしれない教育格差の問題に切り込まれています。現状把握にも非常に参考になります（以前に「経セミnote（リンク）」にご登場いただいた、池田貴昭さんも執筆に参加されています！）。
また、青柳先生と小林先生には、連載期間中（『経済セミナー』2020年2・3月号）に、RCTを社会で実践する手法を確立し、政策的な成果をあげるとともに経済学研究にも大きな影響を与えてきた、アビジット・バナジー、エステル・デュフロ、マイケル・クレーマーの三氏に授与された2019年ノーベル経済学賞の講評を、実務的な視点で解説いただきました！（なお小林先生には、デュフロ＋グレナスター＋クレーマー『政策評価のための因果関係の見つけ方：ランダム化比較試験入門』の監訳もいただきました）
青柳恵太郎・小林庸平「RCT革命は開発政策の現場をどう変えたのか？」
以下の経セミe-bookでお読み頂くことができますので、ぜひご覧ください！！
■おわりに
以上、簡単ではありますが、連載「EBPMの思考法」の内容をエンドロール的に振り返ってみました。「経済学の学習」の枠を超えた、非常に実践的で有意義な連載で、編集部も毎回楽しみに読ませていただきました。
（プレッシャーをかけるわけではないですが…）編集部一同、書籍としてお届けできるのも楽しみにしています！
サポートに限らず、どんなリアクションでも大変ありがたく思います。リクエスト等々もぜひお送りいただけたら幸いです。本誌とあわあせて、今後もコンテンツ充実に努めて参りますので、どうぞよろしくお願い申し上げます。