2019年に読んだ本のまとめ2

今回も，2019年に読んだ本をいくつか紹介したいと思います。今回は，世の中の「仕組み」の本質に迫る2冊です。

測りすぎ

2019年に読んだ本の中で，一二を争う面白さだったのがこの本『測りすぎーなぜパフォーマンス評価は失敗するのか？』です。

現代ではどんなことでも「達成したことを評価すべきだ」ということをよく言いますよね。大学でも同じですし，大学教員も「成果」で評価しろ，それに従って給与に差をつけたり研究資金に差をつけたりするべきだ，と言われがちです。

でも，そうなった時に何が起きるかということにはあまり目が向かない傾向があります。いったい，何が起きるのでしょうか。

測りすぎ――なぜパフォーマンス評価は失敗するのか?

この本では，「何でも評価できるはずだ」という態度のことを測定執着と呼んでいます。そして，測定執着にはいくつかの特徴があります。これは，「人間をパフォーマンスで評価することができるのだ」という強い信念です。

・個人的経験と才能に基づいておこなわれる判断を，標準化されたデータ（測定基準）に基づく相対的実績という数値指標に置き換えるのが可能であり，望ましいという信念
・そのような測定基準を公開する（透明化する）ことで，組織が実際にその目的を達成していると保証できる（説明責任を果たしている）のだという信念
・それらの組織に属する人々への最善の動機づけは，測定実績に報酬や懲罰を紐づけることであり，報酬は金銭（能力給）または評判（ランキング）であるという信念
（p.18-19）

この測定執着が生じると，それに伴ってあることが起きるようになります。それは，測定執着によってあることだけを評価に使うようになると，そのほかのことは無視され，重要だった目的は忘れられ，どうでもいいことだけに労力がかけられ，本末転倒のような状態に陥ってしまうということです。

ほとんどの組織には複数の目的があるが，測定され，報酬が与えられるものばかりに注目が集まって，ほかの重要な目標がないがしろにされがちだ。同様に，仕事にもいくつもの側面があるが，そのうちほんのいくつかの要素だけ測定すると，ほかを無視する要因になってしまう。測定基準に執心している組織がこの事実に気づくと，典型的な反応はもっと多くの実績測定を追加するというものだ。そうするとデータに次ぐデータが蓄積されるが，そのデータはますます役に立たなくなり，一方でデータを集めることにますます多くの時間と労力が費やされてしまう。
（p.19）

いくつか例を挙げてみましょう。

たとえば，警察官が交通違反の検挙件数だけで評価されるようになると，多くのドライバーが判断ミスをしやすい，交通ルールのトラップのような道路のポイントで待ち構えるようになります。そんなところで事故はそうそう起きないのに。そこで捕まるのは事故を起こすドライバーではなく，単に運の悪いドライバーです。

また，塾が大学への合格者数だけで評価されれば，多くの大学に合格できる生徒には大学を何校も受験させて数を稼いだり，模擬試験や集中講座だけしか受けていない生徒の大学合格もカウントし始めます。そしてその数字は，塾の教育の成果からどんどんかけ離れていってしまいます。

学校が統一テストの成績で評価されれば，その統一テストの対策授業を学校でやり始めます。生徒の学力の向上ではなく「試験対策」になってしまうのです。

研究者が論文数だけで評価されるようになれば，ひとつの内容を切り分けて複数の論文として発表するようになります。論文の被引用数だけで評価されるようになれば，論文の査読をした時に「自分の論文を引用するように」という審査結果をつけるようになったり（実際に，特に海外の雑誌に投稿した時にはそういう論文の査読コメントをつけられたことが何度もあります），自分や自分の研究グループの論文を次々と引用していったりするようになります。それは必ずしも，学問的な発展に寄与する行為ではありません。

統計的な結果を有意確率だけで評価すれば，統計的に有意な値が得られるまでサンプルを追加したり何度も実験をしたり，ひどい時には改ざんをしたりします。適合度がとにかく重要だという話になれば，必ず適合しやすくなる回避策が編み出されます。それは結果の再現性を阻害し，学問的に誤った結論の論文を多数生み出すことになります。

どうでしょうか。世の中で起きていることを思い浮かべれば，こういったことはいくらでも起きています。ぜひこの本を読んでみてください。また，以前に記事を書いたこともありますのでこちらもどうぞ。

七つの大罪

そして，この「測りすぎ」の本の内容にも深く関係するのが，『心理学の7つの大罪―真の科学であるために私たちがすべきこと』です。この本も，心理学者の間では話題になりました。

心理学の7つの大罪――真の科学であるために私たちがすべきこと

この本については，社会心理学研究に書評も書きました。「心理学」というタイトルがついていますが，この問題は心理学だけに起きているわけではありません。心理学と同じような手法を使っている研究分野であれば，どこでも同じような問題が起きているはずです。

クリス・チェインバーズ（著）大塚紳一郎（訳）『心理学の7つの大罪：真の科学であるために私たちがすべきこと』（2019年，みすず書房）

この本の内容は，本当にさっき紹介した「測りすぎ」に通じるものなのです。どうしてこういうことが起きてしまうのか，というひとつの背景がまさに「測りすぎ」で書かれている内容だからです。それが，研究者を取り巻く環境や研究プロセスの中にあるということなのです。

書評や以前の記事にも書きましたが，歴史的に考えれば心理学では何度もこういうことが起きていて，他の分野に先駆けて改善へとつながったことも何度もあります。

ですので，今回も心理学の回復力に期待したいところです。そのためには研究者だけを問題にするのではなく，研究を取り巻く環境全体の改善が必要です。まあ，個人的にはそんなに悲観的にはなっていないのですけどね......。