見栄えの良さでデザインに取り組んでいないか ~ Science Fictions を読んで ~

 最近「Science Fictions」という本を読みました。
この本の中では、科学の世界ではその信頼性を揺るがすような研究の不正、研究結果に対するバイアス、結果検証の抜け道などの例が紹介されています。

Science Fictions　あなたが知らない科学の真実

（↑日本語版の表紙だけど、中身を読んでいたら「あなたが知らない科学の真実」とか「スタンフォード監獄実験はイカサマだった！」なんて煽り文句つけないだろう。あえてかな？）

※以下、この本の内容が基本正しいという前提で書いてます

読み始めたきっかけ

私はUIとかのデザインを仕事にしているのですが、デザインするときの根拠として心理学や社会学の研究結果を持ち出されることが多いんですよね。
人間はこういう特性を持つからこういうレイアウトにしたほうが使いやすい、みたいな。
ただ、最近そういった当たり前だとされていた研究結果が「再現性がない」と判断されるものが次々と出てきていたので、一体どういうことなんだろうと思ってたところにこの本が翻訳されてたのを知り読んでみました。

「良い結果」が出ないと評価されない

評価を得たくて結果を捏造する、バイアスのせいで結果の読み違えがおきる、シンプルに間違いがあった、などの例が紹介されているのですが。

自分が特に気になったのは「p値ハッキング」のような、なんとかしてこの研究を意味あるように見せられないかという振る舞いが（自然に）発生してしまうという点です。

※p値ハッキング：統計的に有意になるようにデータを選んだり検証をやり直したりすること

結局評価される研究結果とは、仮説が正しかった場合のみ。
「AとBにはこんな関係がありそうだと思っていたが、関係があると認められなかった」みたいな結果も大事なはずなのに、そのような結果には報酬が発生しないため、まるで「そこになにかがあった」ように見せかけようとしてしまう。

研究を歪ませてしまう仕組み

外からは厳格な研究や検証に裏付けられた世界みたいなイメージで見てますが、科学の世界でもセンセーショナルで見た目がわかりやすいものがどうしても評価されやすくなるんですね。

この本で「出版バイアス」というものが紹介されています。

ある理論を指示する結果は飾り立てるように書き上げられて学術誌に投稿されるが、期待外れの「失敗」は黙って切り捨てられ、科学者は次の研究に進む。科学者自身だけではない。学術誌の編集者や査読者も、研究者がどれだけ綿密なプロセスでそれらの結果を発見したかということではなく、いかに興味深い発見をしたかに寄って論文の採用や出版を決める。これが科学者に伝わって、採用される可能性がほとんどない「NULLの論文」をわざわざ提出するまでもないという悪循環に陥るのだ。

Science Fictions　あなたが知らない科学の真実 p.148

もちろん不正や誇張を行う本人が悪いのはそうかもしれませんが、こういった評価に関する仕組みそのものが、研究者を見栄えを良くすることに向かわせているんだという一例ですね。
他にもインセンティブが正しい研究を導く方向に向かわせられてない「逆インセンティブ」なども紹介されています（割愛）。

科学の信頼性を保つための仕組みについては「第8章　科学を修正する」にかかれているので興味ある方は読んでみてください。

（デジタルプロダクト）デザインではどうか？

…みたいな本を読んだわけですが、では自分（プロダクトデザイナーとしての）はどうなんだと。
デザインの評価も同じようなことありますよね？

本当にユーザーのために用意されたUIですか？
本当にチームのためにデザインシステム作ってますか？
本当にユーザーのためにインタビューやペルソナが登場してますか？

きちんと自身に問いかけながら、デザインに取り組もうと思わされた1冊でした。