「再現性危機」とは？ どこが問題で、どんな対策が必要か？（経セミ2022年6・7月号付録）
『経済セミナー』2022年6・7月号、特集は【経済学と再現性問題】と題してお送りしてます！
「先行研究で得られた科学的な知見が、再現できないかもしれない」。
本特集では、近年、心理学において指摘された「再現性の危機」を契機に、その後さまざまな分野で注目を集めているこの問題にフォーカスしてます。
そして、「これのどこが問題なのだろうか？」という点からじっくりと確認したうえで、「なぜ生じてしまうのだろうか？」「どうすれば防げるのか？」「実際に今、どんな取り組みがなされているのか？」を、経済学だけでなく、心理学、会計学、統計学から幅広い専門家の皆さまをお招きして、多角的に解説とディスカッションを展開していきます。
本号特集のラインナップはこちら！
このnoteでは、長年にわたり経済実験を用いた研究に取り組んでこられた川越敏司先生（はこだて未来大学）、フィールド実験なども活用し開発経済学分野で活躍する會田剛史先生（アジア経済研究所）、管理会計の研究者で、近年は追試研究を中心に掲載する学術誌『会計科学』を創刊（!!）した新井康平先生（大阪公立大学）の三名をお招きして収録した鼎談の紹介と、そこで話題になった研究や参考資料等を、リンク付きで紹介します。また、それ以外の関連情報などもピックアップしています！
なお、鼎談に続く記事で紹介された文献や参考情報についても、別のnoteでお届けしていく予定です。
さて、鼎談の収録は、以下のような流れで進みました（2時間ほどのディスカッションでした）。経済学における実験研究（実験室実験、フィールド実験等）での再現性の問題と対応を中心に、会計学分野での取り組みにも触れていただきつつ、多岐にわたる議論が展開されています。
１ 自己紹介（三人のバックグラウンド、研究テーマ）
２ 再現性問題とは何か？
３ 再現性ポリシーをめぐる試行錯誤
４ 再現性問題の背景
５ データ・コードの公開と追試の重要性
６ 経済学における再現性問題
７ 会計学における再現性問題
８ 再現性問題の原因と対策
９ おわりに（さらなる課題と、今後の展望）
以下では、大まかに当日のディスカッションの流れに沿って、各ポイントで紹介された文献、資料や関連情報をまとめながら、本誌をフォローアップします。（議論の内容や解説についてはnoteでは触れていませんので）ぜひ、本誌とあわせてご覧ください！
■ 再現性問題とは？
鼎談ではそれぞれの自己紹介に続いて、まず「再現性問題」とは一体どういう問題なのか、について整理を行いました。
特にここでは、再現性問題を「Reproduction（再生、反復）」の問題と、「Replication（再現）」の問題に区別して考えることが重要だという点を指摘し、下記の文献でまとめられている内容、概念の定義も参考にポイントを押さえて解説しています。
ざっくり紹介すると、前者は同じデータ・環境のもとで同様の分析・実験を行った場合に同様の結果が再現できるか、後者は異なるデータ・環境のもとで同様の分析・実験を行った場合に同様の結果が再現できるか、という問題です（続きは本誌で！）。
National Academies of Sciences, Engineering, and Medicine (2019) Reproducibility and Replicability in Science, The National Academies Press.
Nichols, J. D., Oli, M. K., Kendall, W. L. and Boomer, G. S. (2021) "A Better Approach for Dealing with Reproducibility and Replicability in Science," Proceedings of the National Academy of Sciences, 118(7), e2100769118.
本誌では、これらの概念と、内的妥当性、外的妥当性と一般化可能性などの概念の関連についても、丁寧に整理して解説しています。
■ 再現性をめぐる議論は古くて新しい問題？
続いて、再現性問題をめぐる議論は、実は経済学でもかなり古くから交わされ、「再現性ポリシー」と呼ばれる規定の制定などを中心に対策が模索されてきたことを紹介したうえで、登壇者それぞれの専門分野での取り組みなども紹介されました。
たとえば、アメリカ経済学会の発行する『American Economic Review』誌では、1980年代から議論され、模索されてきたことなどが紹介されます。
なお、社会科学の各分野における再現性ポリシーをめぐる議論や動向については、以下の文献にまとめられています。
打越文弥・三輪哲（2018）「社会科学分野における再現性ポリシーの概要と今後の課題――経済学・政治学・社会学を中心としたレビュー」SSJ Data Archive Research Paper Series 66。
（追記2022/05/30） また、上記の内容のアップデート版の論文が『社会と調査』の特集「社会調査の再現可能性とデータ標準」に掲載されているとのことをご教示いただきました（打越先生、ありがとうございました）。
三輪哲・下瀬川陽・打越文弥・工藤沙季（2021）「再現性ポリシーの意義・現状・課題」『社会と調査』『社会と調査』27号。
加えて実験経済学、会計学、フィールド実験が盛んに行われている開発経済学それぞれの分野の事情や動向についても紹介いただいています。
■ 近年注目を浴びる再現性問題の背景
ここまでの整理をふまえて、次は「再現性危機」として2010年代以降さらに注目を集めるようになったきっかけや、各分野での動向などを議論していきます。
まず紹介されたのは、心理学分野で再現性危機に焦点が当てられるきっかけとなった、Open Science Collaborationが2015年に『Science』誌発表した追試調査です。ここで、心理学で著名な研究成果をあげた実験のうち、再現されたのは約4割であった、などの結果が公表され、大きな議論となりました。
Open Science Collaboration (2015) "Estimating the Reproducibility of Psychological Science," Science, 349(6251), aac4716.
また日本でも、2016年に国内の心理学分野での主要な学術誌である『心理学評論』において、「心理学の再現可能性」という特集が組まれ、さまざまな議論が展開されました。
「特集：心理学の再現可能性」『心理学評論』第59巻1号。
なお、その後の議論もふまえた整理を行った文献が2022年にも発表されています。
平石界・中村大輝（2022）「心理学における再現性危機の10年――危機は克服されたのか，克服され得るのか」第54巻2号：27-50。
また、経済学における実験研究についても、2016年に『Science』誌に発表され以下の論文で追試が行われ、再現性を検証されています（この内容は、本特集内の記事：竹内幹「経済学における再現性の危機――経済実験での評価と対応」でも詳しく解説されます）。
Camerer, C. F. et al. (2016) "Evaluating Replicability of Laboratory Experiments in Economics," Science, 351 (6280): 1433-1436.
続いて、2020年に「行動経済学の死（The death of behavioral economics）」と題した記事をネット上に発表して話題になったJason Hrehaの問題提起についても話題になりました。
なおこの問題をきっかけとして、川越先生を中心に「『行動経済学の死』を考える」というオンラインシンポジウムが、2021年10月、22年1月に開催されました。シンポジウムのホームページには登壇者や当日のプログラム、演題などが公表されています。
これらの背景をふまえて、
再現性問題が各分野でどのような影響を与えているのか？
エビデンスとして確立された知見の再現性に疑義がもたらされることが、アカデミア以外の、たとえばエビデンスを活用しようとする政策やビジネスの現場にどのような影響を与えうるのか？
といった点についてもディスカッションしていますので、ぜひご注目ください！
■ データや分析コードの公開と追試研究が重要？
問題の概要と背景が整理されてきたところで、それぞれのご専門分野での問題の動向や対応について議論を深めていきます。
會田先生からは、ご専門の開発経済学分野で特に盛んに行われている開発途上国などのフィールドで行われるランダム化比較試験（RCT）研究（フィールド実験研究）に関する議論が紹介されました。
この分野は、2019年にバナジー、デュフロ、クレマーの3名が、RCTに基づく政策評価研究を確立したことでノーベル経済学賞を受賞したことからもわかるように、アカデミアのみならず社会的にも政策的にも注目を集めています（解説は、會田先生による以下の記事も参照）。
ここでは、その受賞者の1人であるクレマーがミゲルとともに『Econometrica』誌に発表した論文、
Miguel, E. and Kremer, M. (2004) “Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities,” Econometrica, 72(1): 159-217.
を取り上げます。この論文は、ケニアの小学校で駆虫薬（虫下し）を配布する実験を行い、駆虫薬配布により児童の健康が改善されることで学校での成績等にどんな影響を与えるかを分析した論文です。
なお、この論文のエッセンスについては、以下のnoteで一橋大学の手島健介先生が解説していますので、ぜひご参照ください。
この論文では、出版当時の2004年頃の段階ではめずらしく、著者らが自身のウェブサイトでデータとコードが公表されていました。これが1つのきっかけとなって、疫学分野の研究者たちによる追試を経てさまざまな議論が交わされたことを紹介しつつ、データやコードを公表することと、他者による追試の重要性について考えています。
その後、疫学分野のトップジャーナルの1つである、『International Journal of Epidemiology 』誌の 44 巻 5 号（2015年）において、「Deworming Programmes, Health and Educational Impacts」という特集が組まれ、Miguel and Kremer (2004) の再分析に取り組んだ論文や、Miguel氏とKremer氏らによる応答論文が複数掲載されています。
■ 会計学分野での再現性問題への認識と取り組み
また、会計学分野がご専門の新井先生からも、会計学における実証研究を中心に、現在までに議論されている問題や対応などをご紹介いただいています。
会計学でも1980年代以降に計量経済学や実験経済学の手法が入り、以降はそうした方法論に基づく実証研究、実験研究が盛んに行われています。
たとえば、アメリカ会計学会の会長も務めたシャム・サンダーは、実験経済学においても著名な研究者で、その教科書が川越先生たちによる翻訳で日本語版でも出版されています。
フリードマン = サンダー (1999)『実験経済学の原理と方法』川越敏司・内木哲也・森徹・秋永利明訳、同文舘出版。
ちなみに、『会計とコントロールの理論―契約理論に基づく会計学入門』という本も邦訳されていたりします（会計学では、たとえば株主と経営者、経営者と従業員など、さまざまな関係性に着目したインセンティブ設計の視点からの理論研究も盛んに行われています）。
1990年代の著名な実証研究として、以下の利益操作に関する研究などもご照会いただいています。会計学で活用される企業の財務データは、「ディスクロージャー」という考え方のもとで基本的には公開されています。それらのデータを用いた実証研究が盛んに行われてきました。
Burgstahler, D. and Dichev, I. (1997) "Earnings Management to Avoid Earnings Decreases and Losses," Journal of Accounting and Economics, 24(1): 99-126.
さて、このように実証研究や実験研究が盛んに行われている会計学でも、再現性の問題は重視されています。たとえば以下の論文では、『Journal of Accounting Research』という会計学のトップジャーナルの2019年カンファレンス参加者（つまり会計学の専門家）を対象とした再現性問題に関する意識調査が行われています。
Hail, L., Lang, M. and Leuz, C. (2020) "Reproducibility in Accounting Research: Views of the Research Community," Journal of Accounting Research, 58(2): 519-543.
ここでの結果なども紹介しつつ、会計学において再現性問題がどのように重視されているかなどについて解説します。
それを受けて、新井先生が2020年に追試研究を中心に掲載する会計研究の学術誌『会計科学』を創刊したねらいや具体的な取り組み、現状などについても紹介しています。キーとなるのは、やはり出版された論文についてはデータや分析コードを公開し、追試を重ねることで再現性問題への寄与のみならず、新たな研究の可能性も生まれるのでは、といった点になります。
以下の『会計科学』のホームページでは、創刊の趣旨なども読むことがでいますので、ぜひご覧ください！
鼎談ではさらに川越先生が、主に経済学の実験研究において、過去から現在に至るまで再現性問題がどのように扱われてきたかについても深掘りして解説したうえで、それぞれの視点からディスカッションを行っていますので、ぜひその話題にもご注目下さい！
■ 再現性問題が生まれる原因と課題
鼎談の後半では、ここまでの過去から現在に至る様々な分野での動向や背景をふまえて、再現性問題が生じる原因と、現在取り組まれている先進的な対策、さらに現在認識されているさらなる課題や今後の展望について議論しています。
再現性問題の原因としては、まず「疑わしい研究行為（Questionable research practice: QRP）」に着目します。これについては鼎談だけでなく、本特集全体で多角的に議論されています。
これがどのようなものかは、ぜひ本誌をご覧いただきたいのですが、たとえば有名なのは「pハッキング（p-hacking）」や「HARKing (Hypothesizing After the Results are Known)」でしょうか。こうした、具体的な行為の紹介も本誌で詳しく行われています。
それに対して、さまざまな分野のジャーナルで、QRPを行うインセンティブを引き下げたり、それらを有効でなくしたりするような、具体的な対策が模索されています。特に以下のような経済学の学術誌における取り組みなどが紹介されています。
たとえば、『American Economic Review』誌の投稿ガイドラインでは、実証結果に有意水準を示す星（アスタリスク）を付けないことが明記されていりするのは、有名な例かと思います。
なお、この「星」の有無に注目される実証研究の示し方についてを、「星取合戦」ということで、「Star Wars」というタイトルの論文が、その内実をトップジャーナルのデータを精査して分析しています。もちろん、「スターウォーズ エピソード5：帝国の逆襲（Star Wars: Episode V The Empire Strikes Back）」から来てるタイトルです。なんかオシャレですね（この論文についても、本特集内の記事：竹内幹「経済学における再現性の危機――経済実験での評価と対応」でも詳しく解説されます）。
それ以外にも、実験計画やプロポーザルを事前に届け出て登録申請を出したうえで論文を投稿するような取り組みも紹介されています。
Journal of Development Economics (JDE), Pre Results Review Papers.
American Economic Association, AEA RCT Registry
また、さまざまな対策が行われているなかでも、先ほど触れた追試の有効性にも着目した研究についても紹介されています。
Coffman, L. C. and Niederle, M. (2015) "Pre-Analysis Plans Have Limited Upside, Especially Where Replications are Feasible," Journal of Economic
Perspectives, 29(3): 81-98.
Felgenhauer, M. (2021) "Experimentation and Manipulation with Preregistration," Games and Economic Behavior, 130: 400-408.
こうした多様な対策についても、鼎談のみならず本誌全体を通して議論されています。また、こうした対策の影響のメリットだけでなくデメリットについても目を向け、今後どのような方向に進んでいけばよいかについての展望も、多様な視点から議論されていますので、ぜひ本誌をご覧いただけたら幸いです。
■ おわりに
ここでは、『経済セミナー』2022年6・7月号の特集「経済学と再現性問題」の巻頭鼎談で紹介された文献や参考情報を中心にご紹介しました。議論の内容などはあまり触れていませんが、本誌で非常に詳しく、基礎知識から丁寧に解説しながら、ディスカッションを展開していますので、ぜひとも本誌をご覧いただけたら幸いです。
以上の特集目次をご覧いただいてもわかるとおり、本特集では経済学のみならず、心理学や統計学の専門家（大坪庸介先生、マクリン謙一郎先生）もお招きして、それぞれのご専門の立場から、丁寧に解説と議論をいただいています。特集全部を通してご覧いただくことで、「再現性問題」「再現性危機」という1つの問題を、多様な視野で検討し、理解を深めることができるないようになっていると思います。ぜひ本誌の内容にもご期待ください。
サポートに限らず、どんなリアクションでも大変ありがたく思います。リクエスト等々もぜひお送りいただけたら幸いです。本誌とあわあせて、今後もコンテンツ充実に努めて参りますので、どうぞよろしくお願い申し上げます。