オンライン実験と事前登録

この記事はpsyJS Advent Calendar 2021の17日目です。

みなさん，プレレジ（事前登録; pre-registration）していますか？今年度の国内の学会発表を見た限りだと，0ではないものの，そこまで多くのはないという印象でした。僕自身については，（オープンプラクティスに精通しているわけではないのですが）共同研究を含め何回かプレレジはやったことがあります。ちなみに今年度はOSFでプレレジした卒業研究が1件，認知心理学会で発表予定の研究はプレレジして実験を2つ実施しています。

プレレジの利点

ご存じの方も多いと思いますが，プレレジとは，仮説や手続き，分析方法などを研究を実施する前（事前）に登録しておくという研究実践の1つです。プレレジにはHARKing（Hypothesis After Results Known）などのQRPs（Questionable Research Practices）の防止や参加者追加の透明化などに繋がるといった利点が知られています。

HARKingとは結果が出てから仮説を作るという行為で，必ず支持される仮説を設定できます。仮説は研究実施前に設定するものなので，そもそも，HARKingで生まれたものは仮説とは言えません。少し前までは（いまも？），仮説検証型研究を行い，仮説が支持される結果を出すことが最も素晴らしい成果であるという価値観があり，その負債とも言えるかもしれません。昔は，結果によって仮説が明確化されたなんていう言い訳（？）も小耳に挟んだこともあります。ちなみに，どうでもいいんですが，意図した結果にならなかったことを「結果でなかった」と表現したり，「結果を出さないといけない」という仮説の支持や有意な結果を前提とした研究観は僕は好きではありません。ともかく，仮説をプレレジしておけば，後から仮説を作ること（HARKing）は（バレるので）できません。ただし，「複数のプレレジをしておいて仮説と一致したもののみを公開（AsPredicted.orgだとできてしまう）」というQRPを行えばできてしまいますが。

検定の繰り返しについては，帰無仮説検定において検定を繰り返すとType I Error率をインフレするという問題が生じるため，検定の繰り返しに応じて有意水準を調整してType I Error率のインフレを防ぐ必要があります。多重比較の調整でお馴染みです。問題になるのは，参加者をある程度集めて検定をかけて，有意にならなかったら，有意になるまで参加者を集めて検定を行うという行為です（N増しとも呼ばれるらしい）。例えば，「20人集めて，t検定を行ったら，p = .11だったので，25人まで増やしてもう一度やったらp = .03でした。やったね！」という場合です。2回検定をしているので，α = .05ではなく，α = .025で有意かどうかを判断しなければType I Error率を制御できないはずです（もしくは，p値側を調整して.03×2 = .06とする）。プレレジでサンプルサイズとその決定方法を明記しておけば，そのサンプルサイズに達したら打ち切ることになるので，検定の繰り返しを防いだり，仮にその後，参加者を追加しても参加者の追加を透明化することができます。なお，稀に参加者の追加自体がQRPのように扱われることがあるようなのですが，参加者の追加に応じてType I Error率を適切に制御すれば問題はないはずです。（参加者の追加による）検定の繰り返しを隠すことがQRPかと思います。

このようにプレレジの利点に関しては色々とあるのですが（QRP防止以外にも事前に研究計画を十分に練る機会を提供してくれるなど），詳しくは，長谷川他（2021）などの解説をご覧ください。

PARKingの登場

このようにプレレジはQRPsへの対抗策として効果的なわけですが，プレレジ自体を対象としたQRPとして，PARKing（Pre-registration After Results Known）も指摘されています（e.g., Yamada, 2018）。「結果が出てからプレレジ」などの手法ですね。たしかに僕もプレレジを知った時に，実験してからプレレジするというズルもありえるのではと思いましたが，実際にできてしまうとなると，「やれやれ」という気持ちになりますね。

オンライン実験とPARKing

プレレジ自体が良い研究実践として評価される流れにある現状において，PARKingはプレレジの利点を逆手に取った狡猾なQRPだと思います。さらに，悪いことに実験室実験などでは，プレレジの前に実験を実施したと証明することがかなり難しいと思います。データ取得日や実験ノートの日付を改竄（これはさずがに研究不正），もしくは日付を記録しないなどでPARKingできてしますね。もちろん，正式な調査が入った場合にはPARKingを隠すことは難しいでしょうが，PARKingは研究不正ではなくQRPなので正式な調査まで進むかは疑問です。

1研究者としては自分がQRPs（特にPARKing）をしていないという潔白を証明したくなるわけですが，そのためにはどうしたらよいのでしょうか。オンライン実験とプレレジをうまく組み合わせることで，プレレジ後にデータを収集したということを示すというアイディアがこの記事のメインです。

その手段として，クラウドソーシングを用いたオンライン実験が役に立つのではないかと考えています。オンライン実験をクラウドソーシングで募集する場合，募集は基本的には公開されます（完全非公開も一応可能）。なので，この公開される募集を活用してプレレジ後のデータ収集を証明できないかと考えています。OSFやAsPredictedなどでプレレジを行うと，プレレジ固有のURLが生成されるので，このURLをオンライン実験の募集の見えないところ（例えば，背景と同色の文字やHTMLのコメントなど）にプレレジのURLを貼り付けておけば，プレレジ後の実験だと証明できるのではないでしょうか。もしくは任意の複製困難な文字列（uuidなど）を生成し，それを貼り付けてもいいかもしれません。プレレジもオンライン実験の募集も公開されているので，プレレジの日付よりもオンライン実験の募集の日付が後になっていれば，プレレジ後のデータ収集だと示すことが可能です。その際，どのクラウドソーシングサービスのどのアカウントで募集するのかをプレレジに明記しておくと盤石でしょう。

クラウドソーシングは非公開で参加者を募集することも可能ですが，募集自体が公開されていないとプレレジ後のデータ収集だと証明できないため，少なくともプレレジ後の実験であると積極的に表明したい場合には用いられないはずです。

そもそも，PARKingをするくらいなら，素直にプレレジしてない実験1として扱い，実験1の追試としてプレレジした実験2を実施すればよいのではないかと思ったりもしますが･･･。

終わりに

元々，オンライン実験は実験自体をオンラインで公開しやすいという点から，オープンプラクティスと相性がよいと感じていましたが，プレレジとの連携もよさそうですね。なお，ここまで書いておきながら，今回の内容はまだアイディアにすぎません。せっかくなので，どなたかぜひやってみてください。

Enjoy!

追記

クラウドソーシングサービスによってはHTMLタグが使えないということがわかりました。その場合，不可視文字でプレレジのURLを埋め込むのは難しそうです。プレレジのURLのユニークな部分https://osf.io/○○○○○の○○○○○だけなどを書くか，uuidを使うとよいでしょう。uuidについて説明が抜けていましたが，ほぼ重複しない識別子（例. b3710ee6-c17d-2d19-c021-aa0aa04a946e）で，生成するオンラインツールなどがあります。