[勉強まとめ][分析基本]悪い統計学　データ分析の落とし穴①

評価指標を正しく扱うために気をつけるべき点について、具体例をまじえて紹介している。
指標を追うあまり手段が目的化してしまうとか、割合の指標を出すときに分母を間違えて誤った解釈になってしまうとか、そういう類の話。
事例が医療、警察、戦争など多岐に渡っているのと、分析の失敗例にフォーカスをあてていて普通のデータ分析の手法の本とは一線を画していて面白い。

■内容

序章でそもそもデータ分析で指標を用いる意義について説明。
8章までは、その意義を外れて指標が過って使われている事例を紹介している。
9章10章は、8章までの内容を受けたサマリ。

序章と本編10章で合わせて550ページ程あるため、読書記録も複数回にわたって記載する。
本記事では序章-2章までを記載する。

目次

はじめに
1章　特別試験対策(グットハートの法則と評価指標に関するパラドックス)
2章　努力と成果(ロジックモデルと事業の評価)

はじめに

指標で何かを測ることが、人々の考え方や行動、価値観、達成するものをどのように変えるか説明し、その上で正しい評価指標の使い方をについて述べる。

評価指標を用いる理由は4つある。
1.真実を理解するため。
　直感より確度の高い情報を見ることで、不確実性を減らすことができる。

2.複雑な仕組みを単純化するため。
　例えばCEOは会社のすべての取り組みを知ることはできないが、利益など何かしらの指標で単純化して会社の状況を把握することができる。

3.信頼性をあげるため。
　誰の言葉にも左右されない検証機能を提供する。
　（例：一生懸命働いていて会社に貢献している、と言うだけではそれが本当のことなのか分からない。）

4.客観性をもたらすため。
　公平で一貫性のある基準を提供し、比較を可能にする。

1章　特別試験対策(グットハートの法則と評価指標に関するパラドックス)

グッドハートの法則と、その具体例について記載されている。

【グッドハートの法則】

指標が目的になるとその指標が機能しなくなる

【誤った指標の使い方例】

• アトランタの学区で、試験のスコアが高いと教員にボーナスを支給し、逆にスコアが低いと無料で生徒の個別指導をすることを強制される仕組みを作った結果、試験のスコア改ざんが横行した。記事

• 中国の古生物学者が、欠損の多い化石を少しでも完全な状態にするために、化石の破片の数に応じた報酬をつけて農民に協力を仰いだところ、農民は見つけた化石を破片にするために骨を砕きはじめた。

• オーストラリアで、列車の運行が遅れると罰金が取られるようになると、運行係は、途中停車駅を全部飛ばすよう指示し始めた。

• インドのデリーで、毒ヘビを減らすために毒ヘビの死骸に賞金をかけると、死骸数を増やすために毒ヘビの飼育数が増えた。その後賞金制度がなくなると、飼育者は毒ヘビを野に放ち、かえって毒ヘビが増えた。

指標の有用性の失われ方は2通りある。

• 人々が思いもよらぬ方法で行動を根本的に変えて、評価指標を最大化しようとする(上の例だとインドのデリーの毒ヘビ)

• 行動を全く変えずに単に評価指標を操作する方法を見つける(上の例だとアトランタの学区のスコア改ざん)

両方の対応が同時にとられる場合もあるが、別ものであることを理解をすることが重要。

2章　努力と成果(ロジックモデルと事業の評価)

【ロジックモデル】
事業評価の一般的な手法。
あらゆる事業を4つの要素に分解する。

• インプット

  • 金銭、ボランティアの時間、設備、土地や他のハード的なリソース

• アクティビティ(アウトプットにまとめられる場合もある)

  • パンフレットの印刷部数、講演回数、医師が請求できる時間など、事業の実施内容

• アウトプット

  • 授業に出席した人数、治療を受けた患者数

• アウトカム

  • 意識、技能、知識、状況、状態、行動の変化

アウトカムが事業全体の要であるが、定義、理解、評価が難しく、インプットやアウトプットを指標として追った結果、意図とは逆の結果を招くことも多い。

【誤った指標の使い方例】

• 高速道路の死亡事故の削減

  • かけた費用やパトロール数を指標にしたが、これらはアクティビティであり、本来は高速道路が安全になったか、というアウトカムこそが重要

• 慈善団体の資金調達額

  • 本来はその調達した金で何をしたかが語られるべきだが、資金そのものの調達額をアピールする団体が多い

• 診察数に応じて報酬が決まる病院

  • 診察の回数を増やすことが大事になり、本来診察する必要がなくとも来院させる

【改善例】
誤った指標の使い方3つ目の「診察数に応じて報酬が決まる病院」は、報酬の仕組みに変更した。

• 変更前：診察した数

• 変更後：患者の登録者数

変更前は、アウトプットである診察数を増やそうと、本来インプットである医師の報酬(=患者から支払われる支払額)がアウトプットに従属する形となった(作業をや検査を増やし、それに対して支払いがされた)。その結果、検査不要なのに理由をつけて来院をさせるなど本質的ではない行動が起きていた。

変更後は、報酬を患者の登録数にすることで、インプットを増やそうという動きを無くし(不要な検査などを無くし)、患者の健康の最大化というアウトカムを行動のモチベーションとした。
新しい仕組みでは患者の登録数が重要になる。
そのため、患者が不健康になる程、診察のリソースを割く必要があるので、電話診療や看護師への業務移管などで、効率的に患者の健康を維持することで診察数を減らすような動きが起きた。

所感

グッドハートの法則(指標が目的になるとその指標が機能しなくなる)は、実務でも陥っているなというケースがいくつか思いついた。
また、インプット/アクティビティ/アウトプット/アウトカムの違いは常日頃から意識しないと、評価指標の選定を過って間違った意思決定につながる可能性があると感じたので、今後注意する。