キビシイ結果でもまじめにやってれば論文にはなる話
高知工科大の今田です．
今日は，キビシイ結果の実験でもまじめに生きていれば論文として出版することができるという話をします．(社会心理学会第63回大会で発表した実験が出版に至るまでの流れの紹介になります．)
研究概要
人はなんで自己の利益の最大化を差し置いて，他者や集団のための行動・他者や集団に配慮した行動(以下，向社会的行動)ができるんでしょうか．まぁ色々な理由があるんですが，その中の一つに評判懸念というものがあります．簡単に言うと，他者からどう思われるかを気にする傾向が，向社会的行動を促進する要因の一つということですね．匿名状況に比べて，他者から見られているような状況において人はより向社会的だというような論文は枚挙にいとまがありません (for an easy-to-read social psychological review, see Wu et al., 2016)．
ところが，人に見られているような状況だろうと，割と利己的に行動しがちなタイプの人がいるらしいんですよ．それが，力を持った人たちです．力を持つ人は社会的に望ましくない行動をしがち，という研究が結構あります．
ここで数年前の自分は思ったんです，「あ，力の有無って他者からの評判をどれだけ気にするかに影響を与えてるんじゃね」と．
仮説１: 力を持つと評判懸念が下がる
仮説２: 力がないと評判懸念が上がる
力を持つ人が持たない人を一方で気に罰することができるシステム・組織って結構現実世界にたくさんあるので，まあ支持されそうな仮説っぽいですよね．
この仮説を検討するために，power primingを用いた実験を２つ行いました．簡単に言うと，力がある・ないという心理的状態をプライミングによって喚起して，仮説通りに評判懸念が上下するかみてみました．
Episodic Priming (実験１)
Episodic primingは，パワー研究人気の火付け役となった実験操作で，とにかくたくさんの論文で採用されています．力あり条件の参加者には，「他者に対して力を持っていた場面を思い出して，それについて記述してください」，力なし条件の参加者には，「他者が自分に対して力を持っていた場面を思い出して，それについて記述してください」，統制条件の参加者には「最近誰かと交流した場面を思い出して，それについて記述してください」，という教示をしました．本当にこんなんで操作できるのかよ！と思いますよね．
Semantic Priming (実験２)
虫食いのようになっている単語を完成させる，という課題を参加者に行ってもらうのですが，この単語が条件によって変わっています．例えば，力あり条件の参加者に提示された単語はすべて，力を持っていることに関係する単語になっています．例を下に貼っときます．(各条件の単語のセレクションに関しては，先行研究がちゃんとやってくれています.著者からマテリアルを直接いただきました). 本当にこんなんで操作できるのかよ！と思いますよね．
結果: パワーがそもそも操作できていない
本当にこんなんで操作できるのかよ！と思いましたよね．正解です．パワーがそもそも操作できませんでした．パワーの操作ができてないから仮説の検討もできませんでした．
この悲惨な実験たちを出版したい
悲惨とは言いましたが，たくさん使われているプライミングが見事に効かなかった，というのは決して悲惨な結果ではなく，世界にシェアすべき重要な結果ではあるわけです．ほら，この操作使おうと思っている人とかきっとたくさんいますしね．
ここから，どうやってこの実験たちが出版されるに至ったのかを解説(?)していきます．
ジャーナル選定
幸いにも，どちらの研究も事前登録をしていたので(概要・実験デザイン・サンプルサイズ・事前のpower analysis・実験方法・仮説・データ除外基準)，出す雑誌を選べば取り合ってもらえるだろうと思ったので，まず取り合ってくれそうな雑誌を探しました．
具体的には，以下の項目を意識しながら探しました；
基準１: 高いIFがついている，いわゆるトップの雑誌は無理
基準２: オープンサイエンスを愛しているタイプの雑誌・編集者
基準３: APCを払うという行為を自分はしたくないので，APCがない雑誌．ただ，オープンアクセスだと嬉しいので，できることならDiamond Open Accessの雑誌にだしたい．
．．．これらの基準を加味すると，最近できた雑誌かなという検討がついてきます．Collabra Psychology, Swiss Psychology Open, Social Psychological Bulletinあたりが候補にあがってきました．Diamond Open Accessかつ，ジャーナルウェブサイトからオープンサイエンス愛があふれ出していた，という２つの理由からSocial Psychological Bulletin (以下SPB)に投稿することにしました．
査読結果
R1: Resubmit for Review
・(特にepisodic primingに関して)お前らのやり方が悪かったんじゃない？もっと本気でやれば操作できると思うんだが？
・episodic primingのテキストデータを使えば，本当に操作が失敗してたのかもっとちゃんとわかるのでは？
R2: Revisions Required
・ちゃんとプレレジしてるし，すべてがオープンだから，出版することができる．えらいぞ！
・もうちょっと考察がんばって
R3: Reject
・結局，「パワープライミングが失敗した，あら大変，みんな気を付けて！」という論文なのか，「パワーと評判懸念の関係性に関してテストした」という論文なのかがよくわからなくなっている．どっちかにしてほしい．前者なら，パワープライミング使った実験のメタ分析するなりして，パワープライミングの強度に関してもっと迫るような実験をすればいいし，後者なら「操作できなかったので検討できませんでした」で終わられると厳しい
編集者の決定はrevision.
あ，ありがたい！！！！
いざ，改稿
編集者と査読者のコメントの雰囲気から，なんか論文化できそうだなと思ったので改稿しました．かなり大規模な工事になりましたが，以下のことをやりました；
１．Episodic primingのテキストデータ(300人分)を２人でコーディングして，本当に操作が失敗していたのか検討した
２．査読者１に，本気でやれと諭されたので，episodic primingを本気でやる実験３を追加した(テキストデータのコーディングから分析コードまですべて事前登録した)
３．考察たくさんした
４．仮説の検定に重きを置いたことが明確になるようにイントロ・考察の構成を大幅に変えた
アクセプト
テキストデータのコーディングに関しては，査読者から指摘された以上のことをやったこともあり，どの査読者も(R3は忙しかったのか，２回目の査読には参加してくれませんでしたが)対応に満足した様子で，minor revisionだけ返ってきました．一番面白かったminor revisionは，「タイトルにpreregistered testsって書いてあるけど，この雑誌ではプレレジは当たり前だからタイトル変えてくれ」という編集者からのコメントでした．
この論文，実は投稿が2021年12月のアクセプトが2022年12月でして，丸１年時間がかかっています．ただこれは，大人の事情でわざと再投稿をぎりぎりまで待っていたという影響が大きいです．なのでこの雑誌の査読がとりわけ長いとかそういうわけではないです．こんなに長く付き合わせてしまい申し訳ありませんという感じです．
この時代に生まれてよかった: まじめに研究しておけば論文になる
おそらく今回出版することができた実験１・２は，10年前なら絶対に論文にならなかったと思います．ただ，science reformが進んできている今，ちゃんとした手順を踏んでまじめにやっていれば(検討する意義のある仮説を用意+正しく仮説検定ができるデザインの実験の実施+オープンサイエンス)，査読付き論文としてあれれ～な結果の実験を世に送り出すことはできるんですね．この時代に生まれてよかった～！
おわりに
どんな結果になろうとも出版できるような実験をやる，というのをいつも心がけて生きれば，どんな結果の実験でも査読付き論文として出版することは可能．今年も研究がんばります．
アクセプトされた原稿，実験マテリアル等があるOSFプロジェクトはこちら:
１か月以内ぐらいに出版されるかと思うので，その時はダウンロードしてやってください．読まなくてもいいので．．．
この記事が気に入ったらサポートをしてみませんか？