テキサスのとんでもなく上手な射撃手の話

ある男性が，テキサス州のある家畜小屋のそばを歩いていました。

ふと家畜小屋の壁を見ると，小屋の壁一面にウシの絵が何頭も描かれています。そして驚いたことに，すべてのウシの目が見事に銃で撃ち抜かれていたのです。

男性は驚いてじっとその壁を見ていました。すると，後ろから少年が声をかけてきました。男性が壁を見て驚いていたんだと言います。

その少年は「ぜんぶ自分がやった」と言うのです。

男性はさらに驚いて，「どうやったんだい？」と尋ねました。

撃ち抜き方

というストーリーが，テキサス射撃手の誤謬と呼ばれる問題のストーリーです。以前テキサスに行ったときに見た，赤い壁をもつ家畜小屋が思い出されます。

写真は，オースティン郊外にあるPioneer Farmsという場所で撮ったものです。

後づけ

さて，その男の子は，次のように言います。

「簡単だよ。まず小屋の壁を撃ってから，ウシの絵を描いたのさ」

ウシの絵を描いてから眼を打ち抜いたのではなく，銃弾に合わせてウシの絵を描いたというわけです。これが，テキサス射撃手の誤謬と呼ばれるストーリーのオチです。

HARKing

研究のなかでも，これと同じようなことが発生します。データを分析して結果がわかってから仮説を考えて，あたかも仮説を立ててから結果が検証されたかのような論文に仕立てていく，という順番で研究を進めることです。

これを「hypothesizing after the results are known（結果がわかってから仮説を立てること）」の頭文字をとって，HARKing（ハーキング）と言います。

自分自身がそれをまったくやったことがないか，というとそうではありません。以前はいまよりも無自覚に，まずは分析してみて，面白そうな結果が手に入ったら学会発表や論文を書いていこう，ということがおおっぴらにおこなわれていたのではないでしょうか。

探索がダメではない

探索していくことも，研究の手続きのなかではとても重要なことです。探索して面白そうな結果が見つかったら，次にそこから明確に仮説を立てて，しっかりと確認していくことが大切です。

そうではなく，探索と確認を取りちがえてしまう（ごっちゃにしてしまう）ことが問題なのです。探索をして面白そうな見つかったところで「最初からそれを確認する仮説だった」と振る舞ってしまうことに注意をする必要があります。

クライシス

今回の話は『生命科学クライシス―新薬開発の危ない現場』という本の中にも登場しています。ときにHARKingは，一度発見された研究結果が，次の研究が進んでいくと覆ってしまうような現象の背後に潜んでいることがあります。論文を読んだだけでは，HARKingなのかどうか，なかなかわかるものではありません。それだけに厄介な存在です。

　ハーキングは，科学者が探索研究と確認研究を混同したときに，そうとは知らずに始まることがある。探索と確認の混同は微妙な点に思えるかもしれないが，そうではない。本当の効果とランダムなノイズの区別に用いられる統計的検定は，科学者がまず仮説を立て，その仮説を検証するために実験を計画し，そのうえで実験の結果を測定している，という想定に基づいている。ｐ値などの統計学的ツールは，そのような確認試験を明確に意図して作られている。しかし，科学者がデータを探って興味深い意外なことを見つけると，その実験はひそかにさりげなく性質をがらりと変える。突如として，それは探索研究になるのだ。それらの結果を，予期せぬ興味深い結果だと報告するのは結構だが，研究結果に合うように仮説を作り直し，それを証拠で裏づけられた新たな仮説とするのは明らかに間違っている。手の込んだ統計は不適切なだけでなく，間違った方向へ導く恐れがある。

生命科学クライシス―新薬開発の危ない現場