「科学的」とは何か

昔のチームメイトに「〇〇は科学的か」と聞かれたので、僕ら（一応科学で飯を食べてる人）が何をもって判断しているのかをちょっとまとめてみます。専門分野が多少違っても「これはなんかアヤシイ」と思うことはたくさんあります。

1.  　結果が数値で表されるようなものか？

「◯△をつけると、身体が軽くなった気がする！」とか、「△□をやってから◯□をすると違う！」というような人間の感覚に訴えるようなのはあまり科学的とは言えません。数値で定量化しないとその結果が正しいか検証しようがないからです。

2. 実験する人、される人が「望ましい結果」に左右されていないか？

数値を求めるような実験ができたとして、何かしら結果が得られたとしてもそれが正しいとはかぎりません。なにか「思い込み」で実験をしていると、その「思い込み」自身が結果に影響を与える場合があります。例えば、人を使って実験する場合、被験者が「望ましい結論」をすでに知っているような場合はその実験結果はたいていの場合信用できません。

3. 実験方法が「仮定＝結論」になっていないか？

これは２と似ているのですが、実験はさまざまなセッティングすることが多いので、そのセッティング（あるいは仮定）次第で結果が変わる場合があります。「自分にとって望ましい結果」が得られるように、実験をデザインしてしまう、ということは珍しくありません。あるいは、得られた結果のうち「自分にとって望ましい結果」だけを取捨選択してしまうこともあります。これを意図的にするのが研究不正ですが、気づかずに、仮定＝結論、になっている場合もあって注意が必要です。

4. 結果が検証可能かどうか？

1.とも関連しますが、得られた結果を他の人が検証できなければ意味がありません。例えば、人の感覚というのは検証するのがとても難しいです。また、その人しかできない、あるいは、その時しかできない実験のセッティングというのも意味がありません。（7/10/2018 追記:  天文学では「そのときしかないイベント」というのがあるので、その後の検証が難しい場合もありますが、データが残っているので他の人が検証できます）

5. 数値データの解釈が意図的でないか？

たとえ、数値で表されるような実験で、その結果をグラフで表したとしても、そこから導き出した結論は必ずしも正しいとは限りません。たとえば、

AとBが相関している（Aが大きいと、Bも大きい）

ようなグラフがあったとして、これがBが原因でAが結果なのか、その逆なのか、あるいは、別にCという要因があって、B <=> C,  C <=> A という２つ相関がホンモノで、その結果B<=>Aの相関が見えているだけなのか、この一つのグラフだけからはわかりません。

ひどいのになると、グラフからはそのように読み取れないのに、結果をむりやり導いている場合もあります （もっとひどいのはグラフ自体を「望ましい結果」に合わせて捏造することです）。

一見結論が正しそうでも、統計学的に意味がない実験や調査というもいくらでもあります（例えば、被験者の数が少なすぎる、とか）。

6. 得られた結果が、「科学的知識のネットワーク」と矛盾していないか

これが、宗教や疑似科学と本物の科学との違いだと思います。なんらかの新しい発見をしたとして、その発見が過去の膨大な知見と矛盾している場合、ほぼすべての場合、その発見は誤りです（極めて稀に、過去の知見を大きく塗り替えるような大発見の場合もありますが）。たとえば、「アインシュタインは間違っている！」というような人はたくさんいるのですが、その主張はたいてい矛盾だらけで、既存の理論や実験結果と整合性がありません。

++++++++++

以上、ざっくりとまとめましたが、そうは言っても専門分野がかけ離れていると、騙される場合もあります。例のSTAP事件のときも最初はちょっと信じてしまったし。悪意を持って捏造されると分野外の人にはどうしようもない場合もあります。

（2021.2.18 追記）読みやすいので、この森博嗣氏の新書はオススメです。