「効果が統計的にも示された」の魔力

例えば、「植物育成ゲーム」というアプリが新たに開発されたとする。教育用途のシミュレーションゲームで、植物を選んで種をまくところから始まり、その後、プレイヤーが随時さまざまな働きかけを行っていくと植物の生育具合が変化し、最終的にそれが育成スコアとして点数化される、みたいなもの（架空の例です。まあ、実際に似たようなものもあるかもしれないが）。

それで、子どもたちにこのゲームを各自の端末で一定期間プレイさせたとする。
その結果、プレイの初期と終期とを比べると、育成スコアの平均値が向上しており、検定にかけると優位差が示されたとしよう。

ここで、
「子どもたちが植物の育て方を身につけるうえで、今回開発された『植物育成ゲーム』には効果があった」
と述べたとしたら、どうだろう。

ゲーム内でのより効果的な育て方が身につけられた、という点では正しい。
が、だからといって、現実の状況において植物をよりよく育てられるようになった、という保証はない。
ゲームのプレイがうまくなった、というだけの話かもしれないのだ。

にもかかわらず、こうした場合、「統計的に効果が示された」ということだけ一人歩きしがちだ。
このアプリを使って練習すれば、実際に植物を上手に育てられるようになるんだ〜、と思わせてしまう（もちろん、実際にそうである可能性はあるが、先のデータだけからでは言えない）。

これには、受け手の側のリテラシーの問題もある。
また、伝え手の側が、意図的にか無意図的にか区別をいい加減にしたまま発信してしまう場合もある（アプリ開発自体に熱中して、論構成が粗雑になるというのはありがち）。

ただ、いずれにせよ怖いのは、「統計」の魔力。
「t検定で有意差が」とか言われたら、それが何を比べたもので、それがどんな意味を持つのかすっ飛ばして、「すごーい！」「そりゃ活用しなきゃ！」となってしまう。また、発信側もそれを当てにして、（しばしば粗雑な形で）「統計」を活用する。
また、「分析に耐えうるサンプルサイズは少なくとも30人」みたいなのが一人歩きして、「30人を対象にした調査で『検定』して『有意差』が出ればそれで『統計で効果が示された』と言えるんだ！」みたいな変な誤解が広まっているようにも思う。

「植物育成ゲーム」は架空の例だが、こうしたことは、子どもを対象にした教育活動の場合でも学生を対象にした教師教育の取り組みの場合でも、多々見受けられる。

個人的には、こうしたアプリ（に限らないが）は面白そうだし、ちゃんとその限界を分かったうえでなら有用だと思うし、なにより、私は触りたがりなのでやってみたい。
けれども一方では、こうしたものに対して、冷静に受け止めて議論すること（もちろん、発信そのものもていねいなものにすること）が必要だ。学会という場では特に。