プレレジプレレビュー体験記

この記事はOpen and Reproducible Science Advent Calendar 2019の20日目の記事です。

Introductionは長いほうがよい

数年前からアドカレなるものが流行っているのを指を咥えて見ていたのですが、良い機会なので参加してみることにしました。放置気味のGoogleサイトに書くのも微妙すぎるので、同じく少し前から指を咥えて見ていた note を使ってみることにしました。使い勝手がよかったら、裏から読んでも心理学の裏を引っ越しても良いかもしれない。何を書こうかと迷って（略）プレレジ・プレレビューをやってみた体験談を書くことにしました。

嘘です。先日「心理学評論」の特集号「心理学研究の新しいかたち」に拙論を書かせていただいたのですが、企画概要に「やってみた感想を完成論文の考察に書いてね（意訳）」という指示があって、Stage 1を提出した時点では「合点承知」と思っていたのですが、いざStage 2を書き始めると研究論文の中で「査読者にまじ感謝」とか「編集委員神すぎる」とか書くのは妙な感じがして（まだ査読が終わってないし）、最終版に付けるレターで「そういう約束でしたが微妙なので別にどこかにアップします」と伝えたものの、このままだと絶対書かないことが統計的に有意だったので自分に縛りを掛けるためにアドカレ申請しました。

プレレジ・プレレビューの感想としては「査読者まじ神」と「編集委員には感謝しかない」で終わってしまいまいそうなので、どういう形で「ゼミで追試やってコスパ良く意識高い系を演出する試み」を行っているのかも含めて、書いてみることにしました。

背景

社会心理学の論文はイントロに力を入れることになってるので、まだ導入が続きます。

筆者は4年ほど前から「進化心理学の有名研究を追試しよう」という個人プロジェクトを進めております。もう少し正確に書きます。「（Web調査でデータがとれて、分析方法がシンプルで初心者の学部生でもなんとかなるような、それでいて授業での学生受けが良い）進化心理学の（個人的に）有名（だと思っている）研究を（プレレジして直接的）追試しよう」です。

筆者の働いている専攻は良く言えば学際的、悪く言うと学際的なところで、ゼミに入ってきた3年生は、興味関心は広いものの、論文の読み方や書き方、HADの使い方やエクセルで列を一括選択する方法も知らなかったりします。どげんかせんといかんのでゼミ3年後期にOJTとして流行の直接的追試をやることにしました。

幸いなことに進化心理学系ジャーナルの中には、追試やネガティブデータ載せることをレゾンデートルとして発刊されたLetter誌があります。手続きさえ守っておけば取り敢えずアウトプットのアテがあるという負けない戦は、気楽で良いものです。さらに結果を授業で使うこともできますし。「これって日本でも出るんだよね。ゼミ生がやってくれたんだけど」なんて、ちょとかっこいいじゃないですか。

ゼミ追試の流れ

9月後半に始まる後期のゼミの初回にいくつかターゲット論文候補を挙げ、論文を配り、やりたいものをゼミ生に選ばせてます。だいたい5〜7のテーマを設定しておいて、3〜4人で1グループを作ります（3〜4グループ）。4グループ回すのは辛いので3グループぐらいがお勧めです。10月中に論文を読んで内容を確認し、10月末〜11月頭にかけて予備調査を行い、11月末〜12月頭に中間報告をします。その結果を受けて本調査の計画を練り、12月中旬に本調査をして、最終報告という流れです。

今回の研究

プレレジ・プレレビューをした研究は2018年度のゼミ3年生と取り組んだものです。「理想の結婚相手」が男女で異なるというDavid Bussの有名な研究がありますが（Buss, 1989）、それに関連したものです。Bussの使ってる質問紙はちょっと微妙（「家事と料理が上手い」とか入ってる）なので、同様のテーマで1990年代と2010年代に米国データが揃っているもの（Bech-Sørensen & Pollet, 2016）を選びました。「これやります」というゼミ生が4名集まったのでスタートです。

予備調査大事

進化心理追試計画は2015年から初めたのですが、初年度はさんざんでした。理由の１つが、データ収集の当てにしていた某サービスから、さまざまな「ダメ出し」を食らったことです。文句を言っているわけではありません。マーケティングのためのアンケート配布サービスをしているところに「実の異性きょうだいが性的関係を持つことをどう思いますか？」なんて質問をぶっこもうとしたこちらがおかしいのです。（リクエストが多かったら、某サービスを使う時のTIPS集を書こうと思います。）

これに懲りて翌年からは予備調査をしています。メリットはそれに留まりません。データが手元にあって初めて「あんな分析いいな、できたらいいな」と分かることがあります。事前登録する上で、自分の欲望をシミュレートできるのは良いことです。もちろん先行研究のオープンデータが使えるなら、それも良いです。

お察しの通り、予備調査段階ではプレレジはしていません。研究倫理委員会は通しています。サンプルサイズは適当に決めてます。某サービスだと調査実施最低金額が1万円なので、1万円で取れる最大Nとか、そんな感じです。だって予備調査だもの。

有意じゃない！

さて理想の結婚予備調査ですが、あっさりと実施できました。ところが「進化心理学再現される結果ベスト10」の候補ベスト10に入ってもおかしくないような「男の方が結婚相手の身体的魅力を重視する」という効果が有意じゃないのです。男女比較のWelchの検定を14回繰り返していて、当然のようにαは調整していないのに有意じゃない。とは言っても p = .0501 みたいな微妙さだったので、まだ楽観視してました。しかし、サンプルサイズ決めて、事前登録してやった本調査でも有意じゃない。というところで、ゼミ3年生の活動としてはお終いです。

ちなみに事前登録は、さすがに筆者が書いてます。3つとか4つとかまとめて3年生の計画を登録する時期と、卒論生が色々と持ち込んでくる時期が重なるのはちょっと辛いです。書式は AsPredicted を使ってますが、深い考えがあるわけではありません。

プレレビューしませんか

2019年の年が明けたころだったか心理学評論誌の特集号のお話があり「なんかあったら出して」とのお誘いを受けました。それで、もう少し突っ込んでデータ取りたいと思っていた理想の結婚を出すことにしました。いかな直接的追試と言えども、予備調査なしで行うのは怖い。苦労してプレレビュー通した計画が、実施段階で変更を余儀なくされるのは辛すぎるし、臨機応変に対応する体力もなさそう。見通しが立っているものを出すことにしたわけです。

さてStage 1 に最初に出した原稿は、それはもう酷いものでした。査読者は怒り呆れ、こんな査読に当たったことを嘆いた余り、その身と原稿をどこかに投げ出したくなったことでしょう。もちろん著者というのは常に身勝手なものですから、返ってきたレビューを見た最初の反応は「◯▲□▼XXX▼▼▼▼！！！」でした。しかし一晩寝て落ち着いて考えると査読者がどう考えても正しい。「出ると信じていた結果が出なかった理由」を雑に全部ぶっこんで検証してみたいです、という計画だったのですね。深く恥じ入って、ものすごくシンプルな計画に修正しました。査読者への感謝ポイントその1です。

練り直した計画では「身体的魅力の重視度の性差は小さくなっているか」という点を検証することにしました。それでInferiority testをやってみることにしました。これはEquivalence testの片割れみたいなもので、Smallest Effect Size Of Interest（SESOI）を設定した上で、観察された効果量が、それよりも大きくないか検討する（ d > SESOIを帰無仮説とした検定を行う）ものです。問題はSESOIをどこに設定するか。ここで査読者からアドバイスをもらえたことは、すごくありがたかったです。査読者への感謝ポイントその2です。

分析方法については、先行研究にならって男女の平均値の差をWelch検定でみる計画としていました。これには査読者から「単項目のものにWelchはちょっと...」というコメントが付きました。仰ることはもっともな一方、その他の検定を使う計画だと、Inferiority testのためのサンプルサイズ設計をする方法も良く分からず、ここは査読者が折れてくれました。査読者への申し訳なかったポイントその1です。

さぁデータを取りましょう。

スクリプトまちがってない？

まぁ、男女差は有意じゃかなったんです。Inferiority testは有意。SESOIは d = 0.26 としてたんですが、それを下回りました。「Stage 1 でめちゃくちゃ苦労したのに、Stage 2 の査読でまためちゃくちゃ苦労する」なんて噂も聞いていたのですが、自分の査読者はそんなことはなさそうだな、という手応えがあったので、淡々と結果をまとめて投稿。こういう安心感を持てたのは、担当編集委員がうまくバランスを取ってくれたからではないかと思っています。編集委員への感謝ポイントその1です。

それなりに修正要求はありましたが「◯▲□▼XXX▼▼▼▼！！！！」なものはなくホッとしていたら、査読者コメントの最後に大問題が。「OSFにアップされてるRのスクリプトが間違ってませんか？」ですと！？

肝を冷やすとは、まさにこういうことを言うのでしょう。ダメージがでかすぎて、怖くてすぐにはリバイズに取りかかれませんでした。震える手でRプロジェクトファイルをダブルクリックします。

１つは自分のミスでしたが、分析結果に影響を与えるものではありませんでした。

2つ目ですが、関数が返すリスト内の要素の位置が、どうも筆者の環境（Mac）と査読者の環境（Windows）で異なっていたことが原因で、うまく動かないということのようでした。そもそも査読者が「環境の違いかも...」とコメントしてくれていたのですが「いやいやそんなことないでしょ、どうせじぶんのうっかりミスだ、あああああああ」と恐怖に慄いていたのですが、自分の環境では、やはり当初の通りでないと動かない。「Winだとかくかくしかじかにしないと動かないかも」とコメントアウトしたものを公開しなおしました。Rスクリプトまで丁寧に見ていただいて、査読者への感謝ポイントその3＆申し訳なかったポイントその2です。

まとめ

もうアドベント当日になってしまったのでまとめます。

予備調査大事：実はプレレビュー後の調査で新たに性的指向を尋ねる質問を入れた所、ここで「どちらとも言えない」もしくは同性愛傾向を選んだ回答者が18％も出てきて、予定のサンプルサイズが取れるか肝を冷やすということがありました。事前に当たりを付けておくのは、すごく大事です。

研究倫理審査との兼ね合い：事前審査と研究倫理審査の兼ね合いも気になるところです。今回は予備調査段階で倫理審査を通してあったので、IRBからどういう指摘が入るかも十分に予測ができていました。そういうアテがないと、事前審査でOKをもらった計画に、IRBから難癖（語弊ですよ、もちろん）が入る可能性も否定できません。

編集委員は大変だろうな：Stage 1 最初の原稿はそりゃもう酷いもので、査読者から「これホントにやらなきゃならないんですか」って苦情が編集委員会に入ったんじゃないかと疑うレベルで、それを最後まで面倒見ていただいて感謝しかありません。

プレレビューありがたい：特に inferiority test なんか使う時には「俺の考えた最弱のSESOI」に、誰かのお墨付きが欲しいものです。その点、プレレビューで意見交換した上で決められるのは、本当に安心感があります。

全体的な印象としては、結果が再現されることを（プレレジ付きで）ラボ内で確認した効果について、最後のダメ押しで行う時に、プレレビューまで持っていくのがいいんじゃないか、という気がしています。まぁこれは、やる前からそう思っていて、だからそういう計画でやった上での感想なので、confirmation bias バリバリなんですけどね。

ということで、皆さんもぜひゼミで追試やって意識高いラボを演出しましょう。enjoy!