ゆる心理学者の「二次解析のプレレジ」体験談

本記事は，JCORS (Japanese Community for Open and Reproducible Science) の2021年Advent Calendarの18日目の記事です。2020年末に書いた記事のいちおう続編ですが，この記事単体でも十分理解できる内容になっています。

 

「二次解析のプレレジ」とは？

近年の心理学では，「収集したデータを門外不出とするのではなく，オープンに共有して科学の発展に役立てよう」という動きが活発になっています。同じデータセットでも解析のやりようはいろいろありますし，「この解析で得られた結果こそが唯一絶対の真実」ということはあり得ないので，既存データの二次解析はどんどんやっていくべきだと考えています。ちなみに近年では，Journal of Open Psychology Dataという学術雑誌ができ，「高品質のデータセットを作り，みなと共有すること」自体が研究業績として認められ始めています。オープンなデータ共有と，既存データの二次解析は，これから心理学分野でどんどんポピュラーになっていくことでしょう。

ただし，「既存データを使って無計画に二次解析を行い，良い感じの結果だけ切り取って報告する」ということをやっていたのでは，科学の健全な発展につながりません。「二次解析も立派な研究である」ということを担保するには，一次研究と同じぐらい慎重に，「どういった解析を，なぜ，どのように実施するのか」を事前に定めておく必要があります。そして，事前に練った二次解析プランを，Open Science Frameworkなどのプラットフォームで事前登録 (preregistration; プレレジ) しておくことが推奨されます。「当初計画になかった解析をどんどんやり，良い結果が出た部分だけ切り取って報告する」というチート行為の防止になりますし，研究内容の信憑性もぐっと増すことでしょう。

「二次解析のプレレジ」体験談①：テンプレなしの手探りプレレジ

…とかなんとか意識高い感じの導入を書きましたが，僕が「二次解析のプレレジ」を初めてやった2019年12月には，そんな高尚なことは考えていませんでした。自力ではとても収集できそうにない規模・品質のデータを二次解析できるチャンスに恵まれ，「トップジャーナルに論文が載ったらかっこいいな！」とミーハー根性に火がつき，「トップジャーナルの論文でよく見るあのバッジ (オープンサイエンスバッジ) がほしい～」とか思うようになった…ただそれだけです。

そういった安直な動機からプレレジをやろうと思い立ったわけですが，初期段階でいきなり障害に出くわします。OSFのプレレジのテンプレを眺めてみると，沢山のバリエーションがあるものの，どれも一次研究を念頭に置いた内容になっている！「サンプルサイズは何名にするつもりか？また，なぜその人数に定めたのか？」とか尋ねられても，「だった元データがそうなってたんだもん…」としか答えられない。。。いかん，これではとてもまともなプレレジになりそうにない。。。どうすりゃいいんだ…

ため息交じりにOSFのメニューをもう一度よく見ると，Open-Ended Registrationという選択肢が用意されている！プレレジって自由記述でもいいんだ！じゃあ「二次解析研究である」という事情も含め，いま考えている二次解析プランを簡潔に記しておこう。これでバッジ獲得への道が拓けた，よかった！

そしてめでたく，二次解析のプレレジが完了！A4用紙で3ページ分 (引用文献込み) の二次データ解析案を公開できました。その後実際にデータ解析を進めてみると，予想外のエラーが出てきて解析方針の変更を余儀なくされましたが，そのときも「これこれの理由で解析方針を変更する」という旨を，自由記述形式で再登録することができました。

このときプレレジした二次解析プランは，その後論文化され，2021年にPLOS ONE誌上で公開されました。実をいうとPLOS ONEではオープンサイエンスバッジを採用していないので，「バッジがほしい！」欲はまったく満たされなかったのですが，論文公開時にはそんなことわりとどうでもよくなっていました。そんなことよりも，PLOS ONEに投稿する前に臨床心理学のトップジャーナルに順番に投稿していく過程の中で，あこがれの研究者から「丁寧にプレレジしていて良い研究ですね」というコメントをもらうことができた。そして，結論は「reject (不採択)」だったものの，「研究のどこをどう改善すれば良いか」を教えてもらえた。そのことこそが，自分にとってのかけがえのない財産になっています。

「二次解析のプレレジ」体験談②：van den Akker et al. (2021) のテンプレに沿ったプレレジ

時は流れ2021年12月。僕はいま，共同研究者と新たな「二次解析のプレレジ」を準備しています。ミーティングで「またプレレジの準備しなきゃですね～」と話していると，共同研究者の1人である国里愛彦さんから，「最近は，二次解析プランをプレレジする用のテンプレも提案されていますよ～」と教えてもらったので，それに沿ってやってみることにしました。詳細は国里さんのスライド資料にまとまっていますが，Mertens & Krypotos (2019) が提案する10項目のテンプレと，van den Akker et al. (2021) が提案する25項目のテンプレが存在します (どちらも全文無料公開されています)。このうち，van den Akker et al. (2021) の主張がなんとなくしっくりきたので，そちらのテンプレを活用することにしました。

van den Akker et al. (2021) のテンプレの雰囲気を伝えるために，一部スクショして載せてみます。…はい，ご覧の通り，「25項目の簡単な質問にちょろちょろっと答えていけば良い」という生易しいテンプレではありません。Questionの1つ1つがみっちりしています。このQuestionの後には，その項目で何を意図しているかの説明がたっぷりなされ，具体的な記入例も詳細に記されています。「これぐらいしっかり考えてから二次解析やりましょうね」というメッセージを強く感じます。

このテンプレに沿って二次解析プランを記述していくと，9ページにもわたるみっちりとした文書が出来上がりました。「体験談①」で書いた文章の3倍くらい。。。ただし，書いていて不思議と徒労感はありませんでした。データセットの特質や，解析対象となる変数，データ解析の段取りなどについて，早い段階から事細かに文章化できた。また，「データセットについての事前知識がどの程度あったか (項目18)」といったことも含め，「解析プランに含まれているかもしれないバイアス」を事前に明確化できた。論文の「方法」「考察」セクションの下書きがもうできちゃったという感覚で，今後が楽しみになりました。

このプレレジ文については，いま共同研究者に確認を依頼しているところで，年明け後の早い時期にプレレジ完了できればと思っています。ちなみに，van den Akker et al. (2021) のテンプレはまだOSFに実装されていないので，またOpen-Ended Registrationを選択して，自分で25項目のQ&Aを書いていく予定です。すべてフォーマット通りではなく，最新形を採り入れたり，自分の好みにアレンジしたりする余地がある…それがOSFプレレジの良いところですね。

体験談②の追記 (2022/03/19加筆) 

体験談②で言及したプレレジ文は，2022年2月8日にOSF上でめでたく公開となりました。なお，当初はvan den Akker et al. (2021) のテンプレ案に従って「自由記述形式で登録」とするつもりでしたが，その頃にはOSFの方で "Secondary Data Preregistration" というテンプレを用意してくれていたので，そのテンプレに従って登録しました。

この "Secondary Data Preregistration" テンプレは，van den Akker et al. (2021) のテンプレ案と同一のものでした。最新の論文に書いてある内容をスピーディに実装していくあたり，OSFの運営者は柔軟ですごいなと感心しました。

おわりに

以上，樫原の体験談を素朴にまとめてみました。心理学分野ではプレレジも二次解析もまだまだ新しい慣習ですし，「やり方がよくわからないから敬遠している」という人も多いかもしれません。でも，ちょっとしたことからでも始めてみれば，意外といい感じに仕上がるし，「やって良かった！」と思えることも沢山出てきます。僕自身，こうして素朴な体験を重ねる中で，プレレジが重要視されるきっかけになった「心理学の再現性問題」についていろいろ思うところも出てきました。そういった発展的な考察は，また別の機会 (2022年Advent Calendarなど？) に文章化しようと思います。みなさんも，できるところからプレレジや二次解析にトライしてみてください。一緒に頑張りましょう。Enjoy!