心理学は信頼できるのか？ 再現性の問題【心理学】
心理学は重要な学問だと思っている。
心理学上の研究成果は、法学、経済学、社会学、教育学、哲学、文学に至るまでさまざまな学問で援用されている。
重要かつ影響力のある学問だと思っているからこそ、最近は集中的に色々と読んでいるわけだが、同時に警戒感もあった。
先日、心理学の入門書の目次を眺めたところ、心理学研究手続上の諸問題について書かれた項目をみつけた。読んでみると、10年ほど前にショッキングな事実が続けざまに発覚し、心理学は危機を迎えたという。
内容が衝撃的であったので、素人ながら調べて考えてみた。そうとうな長文になってしまったが、それは驚きの反動である。
1 心理学における再現性の危機
2010年代、心理学研究の信頼性を揺るがせる大事件が立て続けに発生した。
2011年には、ダリル・ベムという社会心理学・パーソナリティ心理学分野における重鎮が、人間の予知能力を確認したとする研究論文を、世界で最も権威のある査読付き学術誌において発表する。
もちろん心理学界は騒然とした。何人もの心理学者がベムの実験を追試したが、結果を再現することはできなかった。研究の一部をベムと同じ材料、同じ実験プログラムによって追試した結果も否定的なものだった。
追試によって研究が反証されるというのは科学的に正常なプロセスである。だが問題は、再現性がない、しかも人間の予知能力を肯定する類の研究が、一流の学術誌が採用している正規の査読システムを通過してしまったことであった。この事件をきっかけに、従来の心理学研究のあり方には、虚偽の報告を見抜けなくするような根本的欠陥があるのではないかと疑われはじめたのである。
加えて、ベムの論文を反証する追試論文が、同学術誌に「独自がない」として門前払いされたことも大きな問題になった。「追試」を「オリジナリティがない」として却下する風土があるようでは、正しい研究の頑健さを保証する機会も、虚偽の報告の問題を暴く機会も失われてしまう。それに、そもそもの話、オリジナリティへの執着こそが研究不正への動機づけを与えてしまうところもある。
2015年には、査読付きの主要な学術誌に報告された100件の研究の再現を試みたところ、39％しか同じ結果が再現されなかったという論文が発表される。
サトウタツヤ、渡邊芳之 2019年
「2015年になると、統計的に有意な結果が報告された100件の心理学研究を追試してみたところ、有意な結果が再現されたのは39件にすぎなかった、という報告が発表されます(Open Science Collaboration,2015)。このことは心理学研究の信頼性を大きく揺るがす出来事でした。もっとも、こうした再現性問題は、心理学だけの問題ではなく、医学をはじめ多くの分野で深刻な問題として認識されるようになっています（Baker,2016）。」
この研究も衝撃的なものであった。なぜ「統計的に有意」とされた研究が再現できなかったのか。理由としては、後述するようなデータの捏造・改竄や、疑わしい研究手法を採用していることなどがあげられる。心理学研究が、本来存在しない現象をでっちあげてきたのだとしたら、心理学自体が学問の土台から崩れ去ってしまうだろう。
もっとも、この「再現性の危機」を理由に、「従来の心理学研究の成果は無視すべきである」というような結論は導かれないと思われるので、いくつかフォローを入れておく。
まず、この「再現性の危機」を指摘する形となった追試研究自体にも不備があることが指摘されているという。次の記事をみてみよう。
AFP BB News 2016年3月4日
「人がどのように行動したり思考したりするかに関する科学的研究の信ぴょう性に疑問を呈す内容で昨年大きな波紋を呼んだ研究論文について、米ハーバード大学（Harvard University）の科学者らが3日、その主要な研究結果は誇張された可能性があるとの論文を発表した。実験方法に多数の誤りがあったという。（中略）いくつかの場合において、科学者らが地理的に異なる場所で再現実験を行い、そのことが原因で再現実験が失敗したと指摘。名門米カリフォルニア大学（California University）で行われた人種問題についての研究の再現実験では、同じ文化的態度を持たないオランダ人学生らを対象に行われていたという。また、どの実験を再現するか科学者らに選択させたことで、実験結果に対する先入観が生じた可能性もあると述べた。」
https://www.afpbb.com/articles/-/3079221
なるほど、人間の心理は文化に影響を受けるから、地域差が存在する。文化が異なる地域で追試をしたならば、結果が再現できないこともあろう。また、再現する実験を実験者が選べるという手続では、実験者の先入観（関心や利害など様々）によって結果が歪みかねない。このように、「再現性の危機」を指摘した研究論文自体、鵜呑みにしてはならないようである。
追試によって結果が再現ができなかったからといって、元々の実験が間違っていたことには必ずしもならないことにも注意が必要だ。研究方法の記載が十分でなかった結果として、研究が正しく再現できなかったのかもしれない。この場合、確かに元々の研究には記載の不備という欠陥があるわけだが、結果に間違いがあったとは限らない。さらに、もともと珍しい現象を扱った実験ならば、一回の追試で再現できないのも仕方がない。
再現された研究が39％というとセンセーショナルに響くが、「ほぼ再現できた」も含めれば47％、オリジナルと追試をあわせることで効果の有意性を保つことができたものを合わせると68％だったという。
三浦麻子 2015年
「記事には「再現性が確認できた研究は「100件中の39件」「全体の39％」だった」といった表現が見られますが、これは、追試を実施した研究者たちの主観的評価、つまり「オリジナルの結果が再現されましたか？」という質問に「はい」と答えた比率が39％だった点を取り上げたものと思われます。より客観的なデータを見ると、オリジナルの論文のうち97％は統計的に有意な効果が得られていた（つまり3％はnull effect〔効果なし〕研究だった）のですが、追試では36％、追試の効果量の95%信頼区間に元論文の効果量が含まれていた（つまり「ほぼ」も含めて再現されたと考えてもよさそうな）研究は47％でした。また、オリジナルと追試をあわせると、もともと示されていた効果の有意性が保たれたのは68％でした。（中略）確かにやや心細い再現性だという感は否めませんが、特段に「センセーショナル」な結果でもないと思います。方法論の脆弱性を認めつつ、そのブラッシュアップを常に心がけることこそが、科学者に求められる科学的行為なのです。」
http://chitosepress.com/2015/11/16/483/
そして、すべての心理学分野が疑わしいという話でもない。心理学と一口にいっても、知覚心理学、認知心理学などは、追試のコストが低いために、研究の再現はもともとよく行われているという。追試のコストがかかる社会心理学のような分野においてこそ再現性が問題になっているようである。
とはいえ、いくら言い繕ったところで心理学界隈において重大な問題が存在することには違いない。以下では、「再現性の危機」を引き起こした原因と、とられるようになった各種の対策について書いてく。
2 研究手続上の問題と対策
（1）研究データの捏造・改竄
実験や調査をせずに、自分に都合のいいデータをでっちあげることを「捏造」という。実験や調査は行った場合でも、結果が都合のよいものになるようデータを取捨選択したり、一部改変したりすることを「改竄」という。
捏造や改竄によって成り立つ研究に再現性がないというのは理解しやすい話である。最近の例では、2011年に自己や感情の研究で有名だったスタペル（D.Stapel）の研究データは、ほとんどが捏造であったと明らかになっている。
スタペルは権威とされていた研究者であったゆえに、捏造事件は多くの学者たちの時間と労力を奪い、誤った考えを大きく広めてしまった。以下の報告からは現場の悲壮感が伝わってきて、読むだけで悲しくなってくる。
藤島喜嗣 2015年
「Stapelといえば、社会心理学における社会的比較領域の主要な研究者で、社会的認知や自己に関わるテキストで頻繁に引用されていました。同化と対比に関する専門書の編者もしていました。その彼が、データ捏造で大学の取り調べを受けているというのです。
かなりのインパクトでした。私個人は研究で直接的に引用することはありませんでしたが、授業では何件か彼の研究を紹介していました。論文購読を含む専門科目でも学生たちに読ませていました。それを撤回せねばなりません。知り合いの博士課程の大学院生は、Stapel論文をかなりの数引用していました。彼の研究はどうなるのだろう。2011年5月には社会的比較に関する優れた日本語テキストが刊行されており、私も熟読していました。Stepel論文がかなり引用されています。どうなるのだろう。」
http://chitosepress.com/2015/10/26/125/2/
捏造・改竄への対策
捏造や改竄への対策としては以下のものが挙げられる。
・厳しい罰則 ……研究費の返還や、一定期間の申請禁止
・倫理教育
・若手研究者の待遇や環境改善 ……捏造や改竄の動機になるのが、オリジナリティのある研究成果を残さないと生き残れないというプレッシャーである。ゆえに待遇や研究環境自体を改善するのも重要だ。
捏造・改竄は、センセーショナルに取り上げられがちである。だからこそ目立つ問題ではあるわけだが、一部の人間の明確な悪意が問題となる分、対策としてはシンプルなものになるのだろう。
（2）疑わしい研究実践（Question able research practices：QRPs）
こちらこそが深刻な問題だ。
研究を歪めるのは、捏造や改竄のように悪意ある手法ばかりではない。そもそも日常的に行っている研究のやり方や手続きの中に、研究データの信頼性を損なうようなものが含まれていることが問題視されるようになった。それらを疑わしい研究実践とよぶ。
代表的なものとしては、「p-ハッキング」、「HARKing」、「出版バイアス」などがあげられている。これら疑わしい研究実践は心理学に限らず、他の分野においても生じていると思われる。
p-ハッキング
p-ハッキングとは、研究結果が統計的に有意になるように、データや分析手法を手直しすることである。
例えば、統計的に有意になるまでサンプル数を増やすことが挙げられる。50人のデータをとって結果が有意にならなかったという場合、少しずつ実験・調査の対象人数を増やしていき、結果が有意になったところでデータをとるのをやめて、最初からその人数をもとに研究を行っていたかのように報告をするのである。
その他、多数の検定を行っておきながら、有意になったものだけを報告する事などもp-ハッキングに該当するという。
p値とは危険率のことであり、一般的にはこの値が0.05以下であれば、統計的に有意といえるとされている（0.05という基準に明確な根拠があるわけではないというが、慣習上そうなっているようだ）。しかし、ジャーナルに掲載された論文には、0.05より少しだけ小さな値で報告されるものが突出して多い。この事実がp-ハッキングの傍証とされている。
岡田謙介・星野祟宏 2019年
「実際、Masicampo & Lalande（2012）やLeggett、Thomas,、Loetscher、 & Nicholls（2013）は多くの研究で報告されたp 値を集めると、「ぎりぎり有意になる」値が特異的に多いことを報告した。これはp-hacking が生じていた傍証と考えられる。」
https://www.jstage.jst.go.jp/article/arepj/58/0/58_291/_article/-char/ja/
p-ハッキングが生じていた理由の一つは、それが問題であると理解されていなかったことにあると思われる。アメリカ主要大学の心理学者を対象とした調査によれば、回答者の半数がp-ハッキングを行ったことがあると回答し、その多くはp-ハッキング自体を問題だと考えていなかった。
池田功毅・平石界 2016年
「John、 Loewenstein、 & Prelec （2012） は、これら統計的妥当性が疑われる研究手法に「問題のある研究実践（Questionable Research Practices、あるいはQRPs）」 という名前を与え、さらにアメリカ主要大学の心理学者約5,000名（うち回答者は2,000名） を対象とした調査を行った。結果、回答者の半数以上の心理学者がQRPs を行っており、また彼らの多くがそうした行為を特に問題だとは考えていないことが浮かび上がってきた。すなわちp hacking は可能であり、そして少なからぬ心理学者がそれを（意図の有無は別として）実践してきたのである。」
https://www.jstage.jst.go.jp/article/sjpr/59/1/59_3/_article/-char/ja
だが、p-ハッキングは研究結果を歪めるものである。p-ハッキングを駆使することによって、どのような荒唐無稽な仮説であっても、その仮説を支持する論文を報告できるという指摘もなされている。
池田功毅・平石界 2016年
「Simmons, Nelson, & Simonsohn （2011） は、現在多くの心理学ジャーナルで要請されている形式を満たしつつも、p 値を有意水準未満に導くこと、すなわち“p hacking” が十分可能であり、その結果として、どのような荒唐無稽な仮説であっても、それを支持するデータを論文として報告できることを、実験報告とシミュレーションを通じて示している。」
https://www.jstage.jst.go.jp/article/sjpr/59/1/59_3/_article/-char/ja
p-ハッキングとは異なるものの関連した論点として、「統計的有意」にのみ拘ること自体の問題も意識されるようになった。
統計的に有意とは、効果が「全くないか、あるか」でいえば「ある」とするものであり、効果の大きさについては語らない。p値（危険率）が基準となる0.5よりもずっと低かったとしても、それは効果の存在を強く示すだけで、効果が大きいことは示さない。
このことを誤解してしまうと、研究結果を過大評価してしまかねない。
それを示す好例といえるのは、Facebookが689,003人のユーザーを対象として行った「感情伝染実験」である。実験によれば、表示される投稿記事の内容によって感情伝染が生じることが「統計的に有意」なものとして示された。このことは世界中の新聞、テレビ、インターネットにおいて、大きく取り上げられ、Facebookによる世論誘導の危険性などが論じられた。しかしながら、感情伝染の「効果がきわめて小さい」ことに触れるメディアはほぼなかったという。
元の論文には、「統計的に有意」であること、すなわち感情伝染が存在することと共に、「効果量（効果の大きさ）」は小さいこと、つまりその効果が小さいことも明記されていたのだ。
大久保街亜 2015年
「実験群と統制群のポジティブ単語における比率の違いは0.1％しかない。要するに1000単語あったら1単語少ない程度の差である。Facebookでは10〜20語程度の投稿記事が最も多い。そしてほぼすべての投稿記事が100語以下である。そう考えると取るに足らない小さな差と言ってよい。
論文で記載されたCohen’s dという効果量も、この差が取るに足らないことを示している。（中略）Facebook実験で観察された感情伝染の効果は実に小さなものだった。だが、この実験を報告した論文はもちろんテレビ、ラジオ、インターネットなどの各種報道も感情伝染の効果があったことのみを喧伝した。その効果がとても小さなものであったことを報じることは、ほぼなかった。」
https://psych.or.jp/publication/world068/
ちなみに、「統計的有意」を示すこと自体は非常に簡単らしい。統計的検定の原理からいって、サンプル人数を大きくとると、どんなに小さな差や傾向でも「統計的に有意」にできてしまう。
サトウタツヤ、渡邊芳之『心理学・入門 改訂版』にある例だが、仮に10万人のデータを取り、高校1年の男子の数学の平均点が76.5点、女子が76.3点だったとしよう。この0.2点の差は「統計的に有意」である（233頁）。
だが、このような差が「統計的に有意」だとしても、その事実から何か有意義な教訓が引き出せるわけではない。むしろ、たった0.2点差であることが無視され、「男子は女子より数学において高得点をとることが統計的に証明」などと報道されたならば社会に大きな害をもたらすだろう。統計的に有意であるかと、その差や傾向に意義があるかは別問題である。
HARKing（Hypothesizing After the Results are Known）
HARKingとは、データをとってから、データをうまく説明するように仮説を修正し、あたかも最初からデータにぴったりの仮説があったかのように装うことをさす。
HARKingは、学問研究の現場において広く行われており、推奨されることさえあったという。
しかしながら、これは問題である。どう問題なのかを一つ指摘する。
得られたデータが信頼できないものであった結果、仮説とデータが食い違ったとする。このとき、データの不具合を疑うのではなく、仮説を修正して済ますとなれば、①データの不具合が見逃されるばかりか、②信頼できないデータに基づいて形成された修正済仮説が、あたかも検証済みの仮説であるかのように報告されることになる。実際にはデータをみた後で形成された仮説だから、まだ一度も検証されていないのにである。
出版バイアス(publication bias)
研究の現場においては、仮説が検証された研究ばかりではなく、仮説が検証されなかった研究もあるはずである。しかし、学会誌や学会発表では、仮説が検証された研究だけが発表される傾向が強い。
もともとはうまくいかない可能性も十分にある研究だったのに、失敗した場合は報告されず、うまくいった場合だけが学術誌や学会発表で報告されるならば、あたかもその研究は常にうまくいくようにみえてしまう。
例えば、サイコロで「6」が出たときだけ「サイコロを振ると6が出た」と報告され、他の目がでたときにはサイコロを振ったことさえ報告されないならば、「このサイコロは6ばかり出るような仕組みになっている」と勘違いされかねない。ただし、こうした研究をいざ追試してみたのならば、結果が再現されないことが多くなるだろう。なぜなら、もともとはうまくいかない可能性も十分にある研究だったのだから。
疑わしい研究実践（QRPs）への対策
「疑わしい研究実践」は、心理学界全体が抱えていた問題であり、研究者の誰が陥ってもおかしくない身近にある危険である。
以下の証言は現場の研究者の危機感を伝えてくる。
樋口匡貴 2015年
「自分自身を含めた身の周りでの研究実践のあり方を考えつつあった当時の私自身にとって、PPSの再現可能性特集号の読書会で得た知識は非常に大きいものだったし、何よりも「問題のある研究実践」（QRPs: Questionable Research Practices）に自分が携わり続けてきたという確信をつかんでしまったことは衝撃的でした。これから自分はどう生きていけばいいのか、どう研究をしていけばよいのか、どうこれまでのことを“贖罪”すればよいのか。こういったあたかも思春期のような感覚が（この時は大学院入学からちょうど16年！）、この問題への取り組みを自分自身に対して促すことになりました。」
http://chitosepress.com/2015/10/26/125/2/
問題を解決するには抜本的な改革が必要になってくるし、実際にそうした改革がなされるようになったという。
・さまざまな統計手法の取り入れ
検定やp値ばかりに頼るのではなく、効果量（研究で示された差や傾向が実際にどれだけ大きいのかを示す数値）やベイズ統計学を取り入れるなど、さまざまな統計手法を利用するようになっているという。
・事前登録研究（pre-registration）
あらかじめ研究計画やデータの分析法を登録しておき、その通りにデータ収集や分析を行ったものだけを学術誌に掲載するという方式である。研究を実施してデータをとるよりも前に登録がなされているので、p-ハッキングやHARKingを防ぐことができる。
（2023年12月20日追記）
事前登録した上での研究は実際に高い再現性が得られているという。
プレレジや大きなサンプルサイズによって心理学研究の再現性が90％くらいまで高まったよというScienceの記事。元となった研究はNature Human Behaviorに掲載された論文。 https://t.co/o3znPoAClV
— Nobuhiro Mifune (@NobuMifune) November 11, 2023
Cathleen O’Grady 2023年
「過去10年間、心理学は再現性の危機に瀕してきた。この発見は心理学に長い影を落としたが、同時に厳密性を高める研究手法の改善を求める支持者を駆り立てた。
このたび、心理学で初めて体系的に検証された研究手法のひとつが、再現率を高めることを示唆している。研究者が自分の研究を "事前登録 "した場合、つまり事前に実験とデータ解析の計画を文書で約束した場合、他の研究室は結果の86％を再現することができた、と研究チームは本日、『Nature Human Behaviour』誌に報告した。これは、他の大規模研究で見られた30％から70％の再現率をはるかに上回るものである。（Deepl翻訳）」
https://www.science.org/content/article/preregistering-transparency-and-large-samples-boost-psychology-studies-replication-rate
事前登録によって再現性が高まったということは、再現性の問題の主因は疑わしい研究手法（QRPs）にあったのだろう。主因が人間心理の移ろいやすさにあったのならば、事前登録をしようが再現性は低いままだったはずだ。
・レジスタード・レポーツ
研究計画を事前登録の時点で審査する。審査に合格した研究は、仮説が検証されてもされなくても学術誌に掲載する。これによって、出版バイアスを防ぐことができる。
・オープンサイエンス
研究用に収集したデータ、分析に用いたプログラムをオンライン公開することが広く行われるようになったという。事前登録研究についても、登録された情報がオンライン上で公開されるようになっているようだ。
従来の研究においては、研究手法が論文内において十分に記載されていないケースがままみられた。その一つの原因は、紙媒体ゆえに厳しい字数制限を科されることにあった。電子ジャーナルへの移行に伴い、この点も改善されることが期待できる。
・再現論文の評価
新規性が第一であった方針が転換され、事前登録を行った追試研究・再現研究が査読付き論文として出版されるようになってきたという。
この10年少しで、心理学研究の実施・報告に関する環境は一変といっていいほど良くなったという。
喜ばしいことではあるが、ここ10年少しというのは本当に最近の話だ。心理学研究が再現性の危機を乗り越えはじめてからはまだ日が浅いということには気をつけた方がよいのだろう。
なお私としては、今後も人間の心理を論じるにあたって、心理学研究を援用していきたいと思っている。研究分野自体が問題を抱えているにせよ、私個人のただの直観や感想のみに頼るよりははるかにマシだと思うからだ。
「再現性の危機」が明らかにしたことの一つは、心理学界は全体としてみれば誤りを検知する機能があり、誤りを正す動機もあり、改善策を打ち出す力もあるということだ。自浄作用がみられたのである。それに対し、私の直観や感想に自浄作用があるかといえば、極めて疑わしい。
【参考資料】
・サトウタツヤ、渡邊芳之『心理学・入門 改訂版』有斐閣 2019年
・「心理学研究の信頼性に疑問を呈した論文は「誇張」、米ハーバード大研究者ら」AFP BB News 2016年3月4日
https://www.afpbb.com/articles/-/3079221
・三浦麻子「心理学研究は信頼できるか？――再現可能性をめぐって(4)」ちとせプレス 2015年11月16日
http://chitosepress.com/2015/11/16/483/
・藤島喜嗣「心理学研究は信頼できるか？――再現可能性をめぐって（1）」ちとせプレス 2015年10月26日 http://chitosepress.com/2015/10/26/125/2/
・岡田謙介・星野祟宏「いかに研究結果を有意に見せるか？」教育心理学年報 第58集 2019年
https://www.jstage.jst.go.jp/article/arepj/58/0/58_291/_article/-char/ja/
・池田功毅、平石界「心理学における再現可能性危機：問題の構造と解決策」心理学評論 2016 年 59 巻 1 号
https://www.jstage.jst.go.jp/article/sjpr/59/1/59_3/_article/-char/ja
この論文は特におすすめ度が高い。
・大久保街亜「統計的に有意？――帰無仮説検定でわかること・わからないこと」心理学ワールド 68号 2015年
https://psych.or.jp/publication/world068/
・樋口匡貴「心理学研究は信頼できるか？――再現可能性をめぐって（1）」2015年10月26日
http://chitosepress.com/2015/10/26/125/2/
【その他の興味深かった資料】
・佐倉統「科学的方法の多元性を擁護する」心理学評論 2016 年 59 巻 1 号
再現可能性に拘ることだけが妥当な科学的方法というわけではなく、歴史叙述、逸話法、擬人法なども有効でありうるという指摘がなされている。ただ本文の趣旨より衝撃的なのが、「Nature に掲載された医学・生命科学領域の論文では 70% 以上が結果が再現できなかったとされている（Wadman, 2013）」という記述だ。生命科学分野は産業界との繋がりが太いため、「結果を出せ」というプレッシャーは心理学分野より強いのではないかと指摘されている。
・「「再現性の危機」はあるか？−調査結果−」Nature ダイジェスト Vol. 13 No. 8
「再現性の危機」は、心理学の領域外でも問題になった。この問題をさまざまな分野の科学者たちがどう受け止めているのかが紹介されている。
・再現性問題のまとめスライド（2020年版）
「再現性の問題」に熱心に取り組んでいる認知心理学者の山田祐樹九州大学准教授の記事。QRPsの解説とあるべき対策についてスライドでまとめてくれている。新たな発見が沢山ある記事だった。
追試研究はかなり大変で、平均1年6か月かかっているという話とか、本格的な追試研究にはすべての能力が試されるとかは、素人からすると、そうなのかと。追試で問題になるp-スラッキングや、HARKingにも種類があることなども勉強になった。査読付き事前登録にも抜け穴があるとのことで、不正根絶の難しさも分かる。
あと、若手研究者の負担が大きくなることへの危機感は、切実なものだろうなぁと。成功譚への愚痴もその通りだと思わされた。
追記
2021年9月12日
どうやら多くの方々に読んでいただいているようです。みなさまありがとうございます。
この記事はツイッター上で山田祐樹准教授がとりあげて下さったようです。
山田准教授は再現性問題について発信し、解決のために取り組まれておられる研究者であり、尊敬しております。恐縮であるとともに嬉しいです。感謝いたします。
以下の動画は「再現性の問題」を理解する上で参考になります。
2023年12月20日
事前登録研究が効果的だという報告を追記しました。
この記事が気に入ったらサポートをしてみませんか？