手島健介「再現性向上のためのreplicationチェック：米国経済学会データエディター制度の取り組み」
このnoteでは、『経済セミナー』2023年2・3月号に掲載した、手島健介先生による「米国経済学会データエディター制度の取り組み――再現性向上のためのreplicationチェック」を公開しています！
近年、さまざまな学問分野で研究成果の「再現性」に注目が集まっており、各研究コミュニティや学術雑誌でいろいろな取り組みが行われています。この記事では、手島先生がアメリカ経済学会発行の学術誌『American Economic Review: Insights』に論文（Tanaka, S., Teshima, K. and Verhoogen, E. (2022) “North-South Displacement Effects of Environmental Regulation: The Case of Battery Recycling,” American Economic Review: Insights, 4(3): 271-288）を掲載された際に経験した査読プロセスにおける再現性チェックのお話を、実体験を交えて詳しく解説。さまざまな参考情報への直リンクも付けているので、ぜひご覧ください！！
手島健介（てしま・けんすけ）
一橋大学経済研究所教授
プロフィール
コロンビア大学経済学部博士課程修了（Ph.D.）。メキシコ自治工科大学経済研究所助教授等を経て、2022年より現職。主にメキシコと日本のミクロデータをもとに、グローバリゼーションや都市に関連する問題を研究している。主著： “North-South Displacement Effects of Environmental Regulation: The Case of Battery Recycling,” (共著) American Economic Review: Insights, 4(3): 271-288, 2022. “Assortative Matching of Exporters and Importers,” (共著) Review of Economics and Statistics, forthcoming.
１ はじめに
多くの学問分野において、再現性（reproducibility）向上の必要性とそのための方策が、近年活発に議論されている [1]。経済学分野では、特に米国経済学会（American Economic Association：AEA）が力を入れており、AEA発行の雑誌における査読から刊行までのプロセスで最近大きな改革が行われた。具体的には、2019年7月16日以降、American Economic Review（AER）、AER: Insights、American Economic Journal（AEJ）[2] などといったAEA発行の雑誌に論文を投稿し、通常の査読プロセスを経てエディターが内容面での採択を決定した後で、掲載のための最終条件として、「データエディター（Data Editor）」による「replicationファイル」のチェックを経ることが要求されるようになった [3]。この方針は、Quarterly Journal of Economics（QJE）、Review of Economic Studies（REStud）、Economic Journal（EJ）などにも追随され、同様のreplicationチェックプロセスが導入されている [4]。
本稿では、このような一連のreplicationチェックに対するAEAの取り組みと、それを受けて論文の著者として行うべきことは何かについて、筆者自身の経験もふまえて紹介したい [5]。
[1] 『経済セミナー』2022年6・7月号の特集「経済学と再現性問題」では、経済学における再現性問題に対する取り組み、心理学・統計学分野における動向と対策などについて幅広く解説されている。
[2] AEJにはApplied Economics、Economic Policy、Macroeconomics、Microeconomicsの4誌がある。
[3] Vilhuber, L., Turrito, J. and Welch, K. (2020) “Report by the AEA Data Editor,” AEA Papers and Proceedings, 110: 764-775, より。なお、Vilhuber, L. (2019) “Report by the AEA Data Editor,” AEA Papers and Proceedings, 109: 718-729, によれば、データエディターは2018年に就任し活動を開始している。replicatonファイルの提出自体は2005年前後から義務化されていたようである（AEA “Previous Data Availability Policy (2005-July 10, 2019)”）。
[4] QJEの「Data Policy」では、明確に「the Quarterly Journal of Economics has adopted the American Economic Review data availability policy. We are grateful to the editors of the American Economic Review for their leadership in constructing this policy」と記載されている。
REStudでは「Submission Guidelines」に「Data Availability Policy」が示されており、「Data Editor」のウェブサイトが2020年から運用されているようである。
EJの場合は「Instructions to Authors」の「4 Replication policies」を参照のこと。
[5] なお本稿で紹介する情報はすべて執筆時点のものである（各ウェブサイトへの最終アクセスは2022年12月13日）。動きの速いテーマであるため、最新の情報は、その時点での各ウェブサイトや文献も確認されたい。
２ データエディターは何をするのか？
データエディターが管轄するのは、データおよび再現性に対する取り組みを定義し、チェックすることである。より詳しい情報は、「Office of the AEA Data Editor」のウェブサイトにまとめられており、論文の投稿者に向けてさまざまな情報が提供されている [6]。
論文の著者にとって特に重要である査読プロセス完了後のreplicationファイルのチェックプロセスは、Prepare、Upload、Submitの3つのステップで行われる [7]。
その中でも特に注意すべきは、最初の「Preparing your files for verification」のセクションである。重要な原則が書かれているため、投稿「前」に読んでおくことが望ましい [8]。
具体的には、まず通常の査読プロセスを経て論文が採択されると、論文の著者は
Readmeファイル（第３節参照）
論文の結果を得るために使われたプログラム
使用データのうち公開できるデータ
を準備して、指定のレポジトリにreplicationファイルとしてアップロードする [9]。そして、
上の 1. のReadmeファイルの内容が適切か
上の 2. のプログラム、および 3. の公開できるデータとデータエディターのみにアクセスを許す秘匿データ（confidential data）を用いて論文の結果が再現できるか
の2点についてチェックを受けることになる。このようなデータエディターの体制が整備される以前も先に挙げた 1.、2.、3. の提出は必須だったが、上記2点のようなチェックが行われるようになったという点が、冒頭で述べた「大きな改革」にあたる。
筆者らは、2022年9月にAER: Insightsに掲載された論文（注 [9] のTanaka, Teshima and Verhoogen 2022）でこのプロセスを経験したが、2019年6月に同誌に掲載された別の論文（Dell, Feigenberg and Teshima 2019）ではreplicationファイルの提出は求められたものの、replicationファイルのチェックプロセスは存在しなかった [10]。後者の論文の査読プロセスがあった2018年前半当時と、前者の論文の査読プロセスがあった2021年のより具体的な違いは、主に以下の3点である。
第三者がデータにアクセスする方法が明確に書かれているか否か、実際にアクセス可能か否かについて、かなり詳細にチェックされるようになった
分析に用いられたプログラムで論文に示された結果が再現できるかチェックされるようになった [11]
第三者が再現するためのプログラム実行条件とその構造・機能の説明がきちんとなされているかチェックされるようになった
[6] データエディターの活動はreplicationチェックだけではなく多岐にわたる。全体像の理解には、注3に挙げたデータエディターによる毎年の活動報告（“Report by the AEA Data Editor”）が参考になるだろう。また、注8も参照のこと。
[7] この点については、Office of the AEA Data Editorのウェブサイト内にある案内のページ 【コチラ】 でわかりやすく解説されている。
[8] Office of the AEA Data Editor “Preparing your files for verification”.
[9] たとえば、筆者らが今回このプロセスを経験した論文、Tanaka, S., Teshima, K. and Verhoogen, E. (2022) “North-South Displacement Effects of Environmental Regulation: The Case of Battery Recycling,” American Economic Review: Insights, 4(3): 271-288, のレポジトリは、【コチラ】のURLでアクセスできる。なお、AEAデータエディターはreplicationファイルの可読性（visibility）を高めることを大きな方針の1つとしており、その対策の1つとして過去の論文のreplicationファイルのレポジトリ掲載を行っている。データエディターのチェックを受ける前後ではreplicationファイルの質が異なっているということになるので、AEAの雑誌に掲載された論文のreplicationファイルにアクセスする際には、その点を念頭に置くとよいだろう。
[10] Dell, M., Feigenberg, B. and Teshima, K. (2019) “The Violent Consequences of Trade-Induced Worker Displacement in Mexico,” American Economic Review: Insights, 1(1): 43-58.
[11] 2022年のデータエディターのレポート（Vilhuber, L. (2022) “Report by the AEA Data Editor,” AEA Papers and Proceedings, 112: 813-823.）によると、レポートの該当期間である2020年12月から2021年11月の1年間で44人の学生リサーチアシスタントが415本の論文のreplicationを担当したという。
３ replicationファイルの詳細
3.1 Readmeファイルの構造
replicationファイルに関する説明を記述した「Readmeファイル」の作成に際しては、「Social Science Data Editors」のウェブサイト [12] で公開されているテンプレートを使うことが推奨されている。このテンプレートは、大まかには以下の6つのセクションで構成されている。筆者らの論文のReadme ファイルでは同テンプレートから各セクションの名称を少し変更した。以下で紹介しているのは、筆者らのファイルにおける名称である点に注意してほしい。
“Data Availability Statements”：各データの入手方法を説明するセクション。秘匿データの場合は、第三者がどのようにアクセスすればよいかなど、入手にあたっての詳細な説明が求められる（3.2項参照）
“Dataset List” ：実際のデータファイルの概要を説明するセクション
“Computational Requirements”：プログラムを実行する際の環境設定と要求事項を説明するセクション
“Description of Programs”：プログラムファイルの概要とその目的を説明するセクション
“Instructions to Replicators”：再現したい人のためにどの作業をどの手順で行うべきかを説明するセクション
“List of Tables and Programs”：どの表や図がどのプログラムファイルで作成されているかを説明するセクション
実際のReadmeファイルがどのようなものかは、注 [9] で紹介したAEAのレポジトリにアップされた筆者らの論文で作成したものなどを参照されたい。
3.2 なぜReadmeファイルが重要か？
再現性向上のために、なぜ上記のような記述が必要となるのだろうか。それは、たとえ論文の著者にとって自明であっても第三者にとっては自明でない情報が多いため、再現性を担保するためには原データの入手から結果の導出にいたるまで、すべてのプロセスを記述することが重要となってくるからである。
この点は、過去の筆者自身にとっても耳の痛い話ではあるが、データエディターによるチェック体制が導入される以前のreplicationファイルを使って結果を再現しようとすると、AEAの雑誌か否かにかかわらず以下の状況に陥ることが多かった。
秘匿データが使われており、かつ論文の著者がアクセスに用いた（第三者にはアクセスが無理そうな）手段だけが書かれており、代替的なデータの入手手段があるかどうかわからない
秘匿データが使われているが、どの結果が公開データで再現できるのか、どの結果は秘匿データがないと再現できないのかがわかりづらい
最終的な分析用データと分析プログラムだけがアップロードされており、分析で使われている変数がどのデータからどのようにしてつくられているのかがわからない
データの出所が不明瞭で（たとえば「メキシコ統計局」とだけ記載されており）、具体的にどのようにすればそのデータにたどりつけるのかがわからない
実際にある論文の結果を再現しよう、あるいはある論文の分析を自分の論文に生かすためにその論文で使われた変数を自分でつくろうとしたときに、これらの点は決定的に重要になる [13]。データエディター制度では、Readmeファイルで上記のような項目を詳細に説明させることで再現性の向上を企図しているのである。実際に、データエディターという第三者の目でReadmeファイルを含むreplicationファイルを厳密にチェックすることで、これらの点を改善しようとしているとも言えるだろう。
筆者らが経験したデータエディターによるチェックでは、約20ページのreplicationチェックレポートを受け取った。データソースの1つひとつについて、明確に記述されているか、アクセスできなければならないものは書かれている通りの手順できちんとアクセスできたかについてチェックがされていた。またコードの1つひとつについて、きちんと走り分析等が再現できるかもチェックされていた。また、論文の各図表について、データエディターが再現できたかどうかのチェックリストも添付されていた。正直なところ、「あ、ここまでやるんだ」と思った。修正点として、筆者らが受けた指摘は以下の通りであった。
データソースの記述の改善を数点
コードについて事前にインストールしておくべきStataコマンドについて1点
replicationファイルはもともと共著者のLinux サーバー上で走らせていたが、「gzipファイル」という圧縮形式でファイルを保管していたところ、解凍するコマンドがWindowsのStataでは走らないのでファイルを解凍し、アップロードし直したうえで、プログラムのファイルの読み込み部分もそれにあわせて修正すべき、という要求が1点
いずれの指摘も、確かに第三者にとってはその方がよいだろうと感じるものであった。上記の 1. は、データの説明は確かに筆者らにとって自明なことが多いが、第三者にとってはそれを説明しておかないと入手の際に困るだろうなと感じた。3. は半日がかりの作業となり正直面倒ではあったが、このおかげで再現に取り組もうとする方々の手間が半日くらい、あるいはそれ以上省けるということと、そのような作業で半日かかるとしたら実際には一定割合の人が再現を諦めていたかもしれないことを考えると、その作業を行った価値はあったのかもしれない。
なお、これらは大した修正点ではないように見えるかもしれないが、レポートではデータエディターから筆者らのreplicationパッケージに対して “excellent replication package” というお言葉をいただいており、データ、プログラム、そのドキュメンテーションについて、基本的には問題ないという状況であった。そのうえで上記のような修正要求をいただいたのだが、基本的な部分に問題があった場合は、データエディターによるチェックのプロセスではもっと大変な修正が必要となると予想される。
[12] Social Science Data Editors “A template README for social science replication packages”.
[13] 加えて経験上、Readmeデータやreplicationファイルの完備は、論文やデータに関する問い合わせに著者自身が迅速に対応しやすくなるという側面もあると感じている。
４ 論文の著者として行うべきこと
本節では、論文の著者として分析時点や執筆時点で行っておく・考えるべきことをまとめておこう。なお、筆者らの経験はAEAデータエディター制度に基づくものであるが、以下で述べる3つのポイントはAEA以外の雑誌に投稿する際にも有用だと考えている。
通常の査読終了後にreplication ファイルの提出までに与えられる時間は、同じAEA発行のものでも雑誌によって異なるようである。筆者らの場合は2週間であった。2週間でreplicationファイルを提出するように求められると、材料が揃っていたとしてもまとめる作業はかなりつらい（経験者談）。たとえば、テンプレートの “Data Availability Statements” だと、
Example for public use data sourced from elsewhere and provided
という例があって、以下のように詳細に説明を書くことが要求されている。
Data on National Income and Product Accounts (NIPA) were downloaded from the U.S. Bureau of Economic Analysis (BEA, 2016). We use Table 30. Data can be downloaded from https://apps.bea.gov/regional/downloadzip.cfm, under “Personal Income (State and Local)”, select CAINC30: Economic Profile by County, then download. Data can also be directly downloaded using https://apps.bea.gov/regional/zip/CAINC30.zip. A copy of the data is provided as part of this archive. The data are in the public domain.
Datafile: CAINC30__ALL_AREAS_1969_2018.csv
たとえば5年前にダウンロードしたデータなどは、よほど記録がしっかりしていないと自分でダウンロードをやり直す必要が出てくるかもしれない。また、時間が経ってダウンロードできなくなっていたりする場合には、いつ、どのリンクでアクセスしたのかを書かなければならないので、過去のやりとりを泣きながら掘り起こす必要が出てくるかもしれない（経験者談）。普段の研究でデータを取得した際には、毎回このような形で記録しておくことは自分にとっても有用だろう。
秘匿データを使っていて、第三者にデータを提供できない場合であっても、「データは提供できません」とだけ書いて終わりというわけにはいかない。AEAのデータエディターからは、
自分がどうアクセスしたか
他人がどうアクセスできるか、代替的な入手手段はないのか
を詳細に書くように求められる。そして、データエディターが上記の 2. の手順で実際にどの程度第三者がアクセスしうるのかについても確認することも多いようだ [14]。実際に最近、AEAのデータエディターによるreplicationチェックで、「著者の元のバージョンはアクセスできなかったが、replicationチェックにおいて同じデータが別のルートでアクセスできるようになっていたのでアクセスして再現してみようとしたら、一部の結果が再現できなかったため、論文のappendixにその旨を書かせた」といったケースがあったそうだ [15]。正直なところ、これを見たときにも「あ、ここまでやるんだ」と思った。
また、たとえば企業との共同研究で企業が所有するデータを使って分析した場合についても、
匿名化したデータをreplication exerciseに限った使用用途で契約を結んで提供するか、
同じような契約のもとで、replication exerciseに限った使用用途での分析サーバーへの遠隔アクセスを提供
がAEAのデータエディターが推奨するやり方のようだ [16]。秘匿データを用いた分析でどのように再現性を確保するかについては、データエディター制度の中でどんどん議論と実践が進んでいる。研究者としては、今後のこの手の再現性の水準に関する議論の推移はフォローしておくべきであると思う。
この点は、Stataをメインに使っている場合はそこまで重要な問題にならないが、replicationチェックの段階で、「論文の著者の環境ではプログラムが走るのに、データエディター側の環境では走らない」という、動作環境依存がある分析がよく出てくるようだ。その際には「Docker」が有用となることが、AEAデータエディターのウェブサイトにも示されている [17][18]。
この点ももちろん重要であるが、本稿のトピックからは外れるので、注で紹介した参考文献を確認してほしい [19][20]。
[14] 論文で使用された秘匿データの提出については、「レポジトリへの提出」と「データエディターのチェック用の提出」があり、それぞれ以下の2つのサイトで解説されている。Office of the AEA Data Editor “Preparing your files for verification,” April 08, 2021, “Privately sharing restricted-access data with the AEA Data Editor,” April 08, 2021.
[15] Office of AEA Data Editor “When a reproducibility check turns into a replication exercise,” October 28, 2021. なお、本文で述べた「別のルート」については、注21およびそれが付けられた本文で説明している。
[16] データエディターによる “Firm-Academic Research Collaborations in Economics - Journals’ Perspective,” September 17, 2021 という講演で解説されている。
[17] Office of AEA Data Editor “Use of Docker for Reproducibility in Economics,” November 21, 2021 ). Dockerの詳細は、西田貴紀・Juan Martínez・小松尚太「実証研究マネジメントのためのツールキット(2) Dockerによる作業環境構築」『経済セミナー』2021年12月・2022年1月号、も参照。
[18] 加えて、Stataユーザーであってもインストールした「ado file」のリストを書く必要があり、そのためにdo fileをチェックするのもかなり手間なので、新しいパソコンを用意して、まっさらな状態からreplicationファイルを走らせてどこで止まるかを確認する、という方法もよいかもしれない。
[19] 再現性を持つようなコードの書き方の全体像は、Gentzkow, M. and Shapiro, J. M. (2014) “Code and Data for the Social Sciences: A Practitioner’s Guide” や、ブラウン大学の津田俊祐さんによる “Software Engineering for Social Scientists” 等の資料で解説されている。
各論としては、『経済セミナー』2021年10・11月号から2022年2・3月号まで、3回にわたって連載されたSansan株式会社の西田貴紀さん、Juan Martínezさん、小松尚太さんによる「実証研究マネジメントのためのツールキット」を参照されたい。第1回はGitとGithub、第2回はDocker、第3回はプロジェクトマネジメントについて解説されている。
[20] なお、注11でも触れた2022年のデータエディターのレポートであるVilhuber (2022) によれば、replicationチェックの作業で問題となる点として、データソースに関する説明が不十分であること、プログラム実行環境に関する説明が不十分であることのほか、作業の自動化が不完全であることが挙げられており、特に手作業でプログラムを走らせたり図表を保存したりするプロセスがあるとチェックが遅れるとされている。
（編集部より）上記経セミ連載の著者の一人である小松様の以下の投稿も参考になります！ ぜひご覧ください！！
５ おわりに
最後に、AEAデータエディター制度が今後の研究にどのような影響を与えそうかという点について、いくつかの国で進む再現性向上への先進的な取り組みを紹介したうえで私見を述べておきたい。
フランスでは、本稿で紹介したAEAの動きの前から、フランスの研究者たちが主にフランス政府諸機関のデータを用いた研究についてreplicationチェックを行うことを目的にした「cascad」という機関を設立した。cascadはreplicationチェックのためにフランス政府諸機関の秘匿データへのアクセスが可能とのことである [21]。AEAデータエディターのレポートにもcascadがAEA発行雑誌のreplicationチェックに協力していることが記されている。また、スウェーデンの統計局では経済学者と協働してAEAのreplicationチェック用に人員を割り当てる動きもあるようである [22]。
こうした国々では以前から、国の詳細なデータの強みを生かして、自国のデータを使った研究を蓄積させていくことがその国における経済学研究を盛り上げ国際的な学術界での地位を高めることになるという発想があるようだ [23]。米国ではそのような欧州諸国の動きの結果、研究のフロンティアが米国から離れていってしまうのではないかという危機感を抱いた経済学者たちが、連名で米国の行政データへのアクセス改善が重要であるということを米国国立科学財団（National Science Foundation：NSF）に申し入れたことがあった [24]。
「第三者がデータを利用しにくい状況では研究の蓄積が進まない」という事態はすでに起きているわけだが、今後はより一層、データが利用しやすい国とそうでない国の研究水準の差が拡大していくかもしれない。また、将来的にAEAのデータエディターなどが各国のデータについて実際にどれくらい再現性が確保されているかを評価し始めた場合には、現状の日本の状況のままでは低くランクづけされてしまうのではないかと危惧している。そうなった場合、日本のデータを使った論文の出版が難しくなってしまう可能性もあるだろう。
また、最近は企業の内部データを使用した研究も増えている。前節で挙げたデータエディターにreplication用にアクセスされる手続きは企業側にとっても煩雑なものであると考えられ、企業・研究者間の共同研究がやりづらくなってしまったり、秘匿データを用いた論文の投稿先がreplicationチェックを要求されない学術雑誌に限られるようになってしまうといった可能性も考えられる。
すでに、日本においても政府統計個票や行政データへのアクセス改善については東京大学政策評価研究教育センター（CREPE）や一橋大学経済研究所などにおいて研究者が尽力されており、筆者としても大きな敬意を抱いている [25]。しかし昨今の状況をふまえると、再現性向上、学術雑誌の再現性に関する要求水準の上昇に対応するためのインフラづくりについて、日本の実証経済学者が共同で取り組んでいくことの意義がより一層大きくなっていると考えられる。
[21] Pérignon, C., Gadouche, K., Hurlin, C., Silberman, R. and Debonnel, E. (2019) “Certify Reproducibility with Confidential Data,” Science, 365(6449): 127-128, を参照。また、cascadホームページの "Confidentiality Policy" も参照されたい。
[22] この点に関して、ウプサラ大学の奥山陽子さんにご教示いただいた。記して感謝したい。
[23] 丸山士行（2021）「なぜ北欧諸国で行政データの活用が進むのか？――デンマークの経験から学ぶ」CREPEフロンティアレポートシリーズ、CREPEFR-12 では、「現在のデンマークでは、データは国民の『共有財産』、つまり『公共財』だという認識が定着している」と指摘されているが、そのような認識も背景にあるのかもしれない。
[24] Card, D., Chetty, R., Feldstein, M. S. and Saez, E. (2010) “Expanding Access to Administrative Data for Research in the United States,” American Economic Association, Ten Years and Beyond: Economists Answer NSF's Call for Long-Term Research Agendas. 著者たちはここで次のように述べている。
“The availability of detailed administrative data abroad has led to a shift in the cutting edge of empirical research in many important areas of social science away from the United States and toward the countries with better data access”.
[25] 『経済セミナー』に掲載中の連載「行政データと実証経済学」では、東大CREPEによる「 EBPM推進のための自治体税務データ活用プロジェクト」の実践例や先行研究を紹介している。同プロジェクトのウェブサイトでも詳細が確認できる。また、筆者が所属する一橋大学経済研究所の活動の紹介は次のサイトを参照（「一橋大学経済研究所が共同利用・共同研究拠点として最高評価獲得」一橋大学広報誌HQホームページ、2022年7月1日）。
謝辞
本稿の執筆にあたり、小松尚太、Juan Martínez、中島賢太郎、西田貴紀、山﨑潤一の各氏とは共同研究を進める際に本稿のテーマについて議論をさせていただいた。ここに記して感謝したい。
『経済セミナー』の最新号や情報はこちらから！
サポートに限らず、どんなリアクションでも大変ありがたく思います。リクエスト等々もぜひお送りいただけたら幸いです。本誌とあわあせて、今後もコンテンツ充実に努めて参りますので、どうぞよろしくお願い申し上げます。