NOISE (上・下)
NOISE 上下 〜組織はなぜ判断を誤るのか〜
ダニエル・カーネマン、オリヴィエ・シボニー、キャス・R・サンスティーン(著)
ファスト&スローのダニエル・カーネマンによる著書。続編。
■ 二種類のヒューマンエラー
医者の病名の判断、面接や人事評価、裁判の保釈審査、特許の是非の審査、アナリストの市場予測など実際の場面において多くのヒューマンエラーやばらつきが起こる。人によるばらつきだけでなく、同じ人でも異なる判断結果をするケースもある。
背景
・犯罪の刑罰において、裁判官によって結果が異なる調査結果(架空のテストでは、裁判官によって判断が一致するほうがめずらしいという結果。一致したのは16件中3件。空腹の時間帯によっても変わる。好きなスポーツチームの結果によっても変わる)無関係な情報も多く影響してしまっている。性別(男性と女性)や人種の偏見(白人とアフリカ人など)もあった。
・保険会社の場合、保険金の金額が人によって50%以上の違いがあった。
判断のノイズを減らす取り組み(ガイドライン)
余計な情報を減らすため、ガイドラインにより犯罪歴(種類と回数)をもとに判断を行うと、裁判官のばらつきは減った。ノイズは減ったが、全体的に重めの判断となった(バイアスが増えた)ため、課題が残った。
ノイズは気付かれない
人と同じ問題を評価するというケースが少なく、判断にばらつきがあっても日常の現場では気付かない。専門職が判断する場合はより自信過剰になる
■ システム・ノイズ
望ましいノイズと好ましくないノイズ
好ましいノイズもある。映画の好みなど。研究者が同じアプローチをすることよりも異なる予測やアイデアがあるほうが多様性がある。システムノイズは好ましくないノイズとなる。
一回かぎりの判断におけるノイズ
一回かぎりの判断(結婚など)と繰り返しの判断(保険金の決定など)で違いが出る。繰り返しの判断は「統計的アプローチ」によりパターンを見つけ推測が可能となる。一回かぎりの判断は「因果論的アプローチ」になる。そのため、あらゆる原因を洗い出すことになる。
■ 判断
判断の6つの原則
1:判断は、自己表現ではなく正確性にある(個人の価値観は排除する)
2:統計的に考える(複数の類似するケースの1サンプルと捉える)
3:判断を構造化する(項目のガイドラインの作成など)
4:早い段階で直感を使わない(十分な情報を得た段階での直感は可)
5:複数の判断者の回答を統合する(議論の前に各自に聞いておく)
6:相対的な判断をする(絶対尺度ではなく相対尺度はノイズが少ない)
■ エラーの計測
判断を評価する
1. 実際の結果と判断を後から照合させる方法
2. 判断に至るまでのプロセスの質を評価する方法
判断の正誤は不明だが、散らばりの大きさからノイズは計測可能である。
バイアスとノイズの計測
MSE(平均二乗誤差)が計測を手法として用いられてきた。MSEでは標本平均をバイアスのない推定母平均として示せること。誤差が大きいほど過大に評価するデメリットもある。
平均二乗誤差(MSE)
誤差方程式:MSE = バイアスの二乗+ノイズの二乗
(バイアスがあってもなくても、ノイズは単独に減らしたほうがよい)
ノイズをどの程度減らすのか
ノイズを減らすためにコストがかかりすぎるかもしれない。得られる効果
とのバランスをとることになるが、最初からノイズを減らすことを避けてはならない。
■ ノイズの分析
どのような情報の優先順位をつけるかによってノイズが生まれる。(面接官によって、社交性を高評価する人や勤勉性を高評価する人などがある)
システムノイズの二乗=レベルノイズの二乗+パターンノイズの二乗
機会ノイズの原因
確実な原因の一つに「気分」が挙げられる。直前に見た楽しいビデオが判断に影響を与える。ストレスと疲労も機会ノイズの一つ。また、承認が二回続くケースでは次は却下される可能性が高まる。
判断はフリースローのようなもので、同じ人でばらつきがでる。
集団によるノイズの増幅
誰が先に発言したか、話す順番などによって、判断が変わるというノイズが増幅するケースがある。
音楽ダウンロードの実験において、被験者は好きな曲をダウンロードする。しかし、各グループごとに他の人のダウンロードを見ることができる。するとグループごとに結果(人気ランキング)がまったく異なった。(カスケード効果:大勢の人で判断する場合、順番に前の人に意見を聞いてから判断するケース。前の人が信頼する人なのか、賛成する意見なのか等に影響する)
集団極性化
集団で話し合うと、個人の意見のときよりも極端な方向に行きやすい。他の人に背中を押されて、自分の意見に自信が出る。
3種類のバイアス
これらは心理的バイアスであり、同時にノイズも産む。
■ 人間の判断とモデル
人間の判断か数式モデルか。「現時点での評価」と「将来の予測評価」の二段階があり、混在させてはならない。人間の判断では、現時点での評価が重視される可能性がある。
・統計的数式は何が勝っているのか
人間は無意識であっても多くの情報がノイズになっている。統計モデルは特定の数値のみを反映する単純なものでノイズが少なくなる。背景や気分はモデルには含まれない。
・線形回帰モデル(重回帰モデル)
予測の単純化において、同じ重み付けをした回帰モデルの精度が高かった(項目の重み付けをしないモデル)。重み付けをすると、誤差があった場合、その誤差が増幅する可能性がある。サンプリングの偶然に左右されない。
・なぜモデル、ルールをもっと使わないのか
大量のでーたがある場合は機械学習が有効である。なのにアルゴリズムをなぜもっと使わないのか。大事な判断や人の評価において、機会的判断を使わない傾向。人はアルゴリズムを試してみるが、一度期待を裏切られると排除してしまう。
しかし、モデルは人間の予測を多少上回るが、まだ称賛できるレベルに達していない。与えられた情報にもよる。
・統計的思考と因果論的思考
相関関係は原因(因果関係)ではない。因果関係は相関関係が存在する。
原因を推定しようとするアプローチ。統計的思考では、大量のケースを統計的に判断する。因果論的思考は直感的に原因を推定する。
- 因果論的思考:システム1(Fast&SlowのFast)
- 統計的思考:システム2(Fast&SlowのSlow)
■ レベル合わせ
どの程度か目盛りで評価する判断には、ばらつきがある。人間は絶対的判断よりも、比較するほうが容易である。大きいや優れているという判断は人によっても異なる。尺度の理解が異なるため。
■ ノイズの構成要素
様々な実験から、パターンノイズのほうが、レベルノイズよりも影響が大きい。さらに、パターンノイズのうちの安定したパターンノイズの影響は、システムノイズの他の構成要素よりも大きいと考えられている。機会ノイズは小さい傾向。
■ 予測市場での精度の向上
平均してもバイアスは減らないがノイズが減る。予測を新しい情報をもとにアップデートすることで精度は上がる。
・3つの改善グループによるテスト
1.教育グループ:予測精度を高める知識を事前に学ぶ
2.チームグループ:互いの情報を持ち寄りチームで予測を行う(統合)
3.選別グループ:予測精度の上位の人を選別する
→ いずれもノイズを減らす結果となった。特に3番目の選別が最もノイズの削減の効果が高かった。
・選別×統合
予測成績の高い人と別のスキルを持つ人を組み合わせる。
■ ガイドラインの効果
・医療の判断
教育や訓練は効果がある。複数の意見を効くセカンドオピニオンも効果的。新生児の判断に使われるアプガースコアはガイドラインの例(教育をうけていなくても判断のガイドラインが具体的に示されておりノイズが少なくなる)。機会ノイズ(日によって、気分によって、など)があったとしても、判定者が独自の重み付けを行わないようになっており、かつわかりやすいガイドライン項目によって判断を行う。
・人事評価の尺度
バイアスもノイズも入り込みやすい。客観的な数字だけでは示せない。360度評価(上司、同僚など複数の立場から評価する)でも、複数の統合によるもの。システムノイズを減らす効果があるがそれでもノイズ入り込む。評価項目の多さや多くの人の時間を手配することも要因。
相対的な判断(ランキング)は絶対評価よりもノイズが少ない。パターンノイズもレベルノイズも排除できる。しかし、この方式では全員が好評価にならない。もしかすると本当に全員が優秀な場合がある(NASAのチームなど)。優秀なチームの中で必ず低順位がうまれ、非優秀なチームの中でも必ず高順位が発生する。トレーニング(教育)にも時間がかかる
→ 絶対評価においてとても優れていると優れているなどの評価尺度の明確化
・採用面接
「面接時の評価」と「入社後の実績」を比較する分析。相関係数は0.2-0.3程度と重要な判断としては低い。その人が能力を発揮するには、様々な要素があり予測が困難。外見などもバイアスがかかる(共通のエラー)。同じ人が同じ人を面接しても結果が異なる場合がある(機会ノイズ)。
表面性(コミュニケーション、第一印象)が面接では影響が大きい。面接官が第一印象から質問をするなど、面接官によって質問をコントロールしやすい状況にある。
・構造化面接(Google)
1 分解:評価項目を明確化する(認知能力、職務関連知識など)
2 独立:評価項目ごとに独立して評価する。まとめて聞いて総合評価しない
3 評価は最後:個別に面接して、それまで面接官で意見交換しない。
4 実務試験を行う
相関係数は0.4-0.7と改善される
■ ノイズ削減のコスト
ノイズ削減の7つの批判
1 ノイズに削減に時間も費用もかかる
2 ノイズを削減しても他のエラー(バイアス)を呼び起こす可能性もある
(Facebookの投稿などのノイズを排除するため削除すると、全体の意見が偏る可能性がある)
3 多少はノイズがあったほうが人間味がある。話を聞いてもらえる実感
(アルゴリズムにノイズはないが、バイアスはありえる。人種や性別に差別的になる可能性がある。バイアスのかかった情報で作られたアルゴリズムはバイアスを増幅させる)
4 新しい価値観や姿勢のときはノイズはやむを得ない
(作られたルールに柔軟に修正しなければならない)
5 ルールの裏をかく者が出る
(税制の抜け道を探そうとするなど。ルールがあいまいな(ノイズがある)ほうが良い場合もある)
6 ノイズがあるほうが慎重になり、抑止力が生まれる
(予想される刑罰が明確よりも、判断にノイズがあるほうが抑止力がある)
7 人間の創造性を抑止する可能性
(ノイズを増やしたいわけでなく判断できることで主体性がでる)
・ルールと規範
具体的でない規範はノイズを生む。ルールの場合はひとつひとつを明確に決めていく必要があり、落とし所として規範になるケースもある。
-ルール(例:時速60km以上は禁止)
-規範(例:法外の速度は禁止)
ルールにするか規範にするかをどう決めるか。判断のケースが多いならばルールがあったほうが判断コストを下げられる。どちらがエラーが多くなるかを考える。