追試者に朗報。といっても追試者自体あんましいないけど。

今朝，Many Labs 2のpreprintが出てました↓。これは追試やってるモンにとっては朗報です。なぜなら，追試研究を報告する際に必ず出てくる問題を一つ潰したからです。

Klein, R. A., Vianello, M., Hasselman, F., Adams, B. G., Adams, R. B., Jr., Alper, S., … Nosek, B. A. (2018, November 19). Many Labs 2: Investigating Variation in Replicability Across Sample and Setting. PsyArXiv. https://doi.org/10.31234/osf.io/9654g （187人て，著者多すぎ・・・だんだん高エネルギー物理学とかゲノム研究とかのマスオーサーシップ論文みたいになってきた。）

さて，追試研究は以前よりかなりたくさん報告されるようになってきました。Perspectives on Psychological ScienceやAdvances in Methods and Practices in Psychological Scienceなんかでは専門セクションが設けられており，でかい追試プロジェクトの結果が一定の頻度で報告されています。で，こうした研究の追試結果は，たいてい「再現失敗」です (※1)。そんな場合によく出てくる反論が，「実験するスキル自体が稚拙だからだ」「被験者の母集団が元研究と違うからだ」「実験設備が元研究と違うからだ」といったもので，このような未観測・未統制の変数はhidden moderatorsと呼ばれています。再現失敗の原因にこれを挙げるのは，心理学の研究結果の多くが高度に文脈依存であることを根拠としており(※2)，それゆえに追試の意義自体に疑問を持つ人も少なくありません (※3)。hidden moderators論法はけっこう強力で，追試者は元論文と全く同じ実験環境や被験者を用意することは不可能なので反論が難しく，たとえポジティブな結果が出た場合であっても元研究と少しでも異なるような結果が部分的にでもあればこの論法を使わざるを得ない流れでした。我々の先日の追試研究でも全然本題とは違う部分の結果についての考察でhidden moderatorsの存在を議論せざるをえませんでした。

しかしMany Labs 2では事前に原著者に問い合わせ，査読させ，結果がネガティブだった場合の考えうるhidden moderatorsを挙げさせ，それらを事前に潰してから追試を行っています。また，たとえあったとしてもhidden moderatorsの影響がかなり小さいことも示唆しています。つまり，あまりにも条件がかけ離れてさえいなければ(まあそれはもはや直接的追試ではなくなりますが・・・)，今後はhidden moderators論法で追試結果を叩くことは難しくなりました。毎回毎回求められてきた無駄な議論を減らせるので本当に意義深い研究です。

ところで今回，有意水準を.0001まで下げても半数の研究が追試成功しました。あくまで今回対象となった研究に限りますが，まあ，少しではあるけど，再現性は前のとき（36%とか）よりマシなのかもしれません（やはり効果量は小さい）。

個人的には朗報ばかりではないかなと思った点があります。それはつまり，「ここまでせなアカンか？」です。近年，マルチラボでの決戦型のレジレポは増えていますがたいてい著者数は大体50名近く（今回は187名），それを束ねるリーダーの負担はとてつもないものです。私もこれまでいくつかのプロジェクトに参加したり，小規模ながらRRRを行ったりしてきて思ったのが，ある程度きちんとした追試研究として実施しようとすると時間的にも精神的にも体力的にも苦労がハンパじゃないです。追試のお作法について，追試レシピってのがありますが (※4)，これもどんどんアップデートを必要としていて，それについていく必要があります。さらには著者数が増大するとフリーライダーも出てくるので，せっかくの追試プロジェクトなのにオーサーシップQRPが発生してしまいかねません (※5)。そこで，発見部隊と確証部隊を完全に分けてまえやという議論もあるのですが (※6)，確証部隊の負担あまりにも大きすぎて不公平じゃない？と感じてしまいます・・・これだと追試をやる人はやっぱりどうしても増えないし，流行らないです。そうだとすると結局まだまだ心理学の信頼性は下がり続けるでしょう。

という感想でした。

PsyArXivはHypothesisで注釈やコメントができるようになったので，みなさんもこの論文で気になることをばんばん伝えてあげましょう。

※1. レジレポのネガティブリザルト率は66%→Allen, C. P. G., & Mehler, D. M. A. (2018, November 12). Open Science challenges, benefits and tips in early career and beyond. PsyArXiv. https://doi.org/10.31234/osf.io/3czyt

こちらもどうぞ→First analysis of ‘pre-registered’ studies shows sharp rise in null findings

※2. 特定の被験者，実験設備でしか起きないことが再現失敗の原因ならば，再現成功時も同じ理由で元論文を支持しないことになり，元論文は完全に精神と時の部屋みたいな聖域へと匿われてしまうことになるが，それは科学なのだろうか・・・？

※3. 例えば→Greenfield, P. M. (2017). Cultural Change Over Time: Why Replicability Should Not Be the Gold Standard in Psychological Science. Perspectives on Psychological Science, 12(5), 762–771. http://doi.org/10.1177/1745691617707314

※4. Brandt, M. J., IJzerman, H., Dijksterhuis, A., Farach, F. J., Geller, J., Giner-Sorolla, R., et al. (2014). The Replication Recipe: What makes for a convincing replication? Journal of Experimental Social Psychology, 50(C), 217–224. http://doi.org/10.1016/j.jesp.2013.10.005

※5. 今後300名とかの連名論文がNatureに載ったとして，その中に名を連ねた人の業績評価は心理学分野ではどういったことになるのでしょう？学振や研究費の審査では？就職では？学位審査では？評価手法の見直しも同時に迫られていると思います。

※6. Yamada, Y. (2018). How to Crack Pre-registration: Toward Transparent and Open Science. Frontiers in Psychology, 9, 1831. http://doi.org/10.3389/fpsyg.2018.01831

Romero, F. (2018). Who Should Do Replication Labor? Advances in Methods and Practices in Psychological Science, 14(1), 251524591880361–22. http://doi.org/10.1177/2515245918803619