【AIによる予測】予測マシンの世紀#20 AIと人間の分業③ 人間の弱み

こんにちは。シンラボ共同代表の草場です。

AIとの共同に関して、『予測マシンの世紀　AIが駆動する新たな経済』をまとめていきます。推理小説のようで、ドキドキワクワクです。

目次
はじめに―機械知能
安さはすべてを変化させる
第１部　予測
　第３章　魔法の予測マシン
　第４章　「知能」と呼ばれるわけ
　第５章　データは新しい石油
　第６章　分業の新たな形
第２部　意思決定（決断を解明する；判断の価値　ほか）
第３部　ツール（ワークフローを分解する；決断を分解する　ほか）
第４部　戦略（経営層にとってのＡＩ；ＡＩがあなたのビジネスを変容させるとき　ほか）
第５部　社会（ＡＩと人類の未来）

我々は如何に予測マシンと共同できるのか？前回は記事はこちら。

それでは続きを見ていきます。

■分業の新たな形
昨日は、人間が予測において苦手な部分を見てきました。この点に関して、もう少し掘り下げていきます。

『マネーボール』、皆様見ましたか？感覚で実施されていた選手のトレードなどを、データをもとに実施したアスレチックスの話です。

オークランド・アスレチックスの野球チームが問題に直面したのは、最高の選手が3人退団した後、チームが代わりの選手を募集する財源を持っていなかったからである。アスレチックスのゼネラルマネージャー、ビリー・ビーンは、ビル・ジェームズが開発した統計システムを使って選手の成績を予測した。この「セイバーメトリクス」システムを使って、ビーンと彼のアナリストはスカウト達の推薦を覆し、プレイヤーを選んだ。少ない予算にもかかわらず、アスレチックスは2002年のワールドシリーズまでライバルを上回る成績を残した。
新しいアプローチの中心は、それまで重要だと考えていた指標（盗塁数や打率など）から他の指標（出塁率や打率など）への移行だった。それは、スカウトの奇妙なヒューリスティックスからの脱却でもあった。映画の中であるスカウトは、「彼には醜い彼女がいる。ブサイクな彼女がいるということは、自信がないということだ。」と言った。そのような人からの意思決定アルゴリズムに照らせば、野球においてデータによる予測が人間の予測を凌駕することが多かったのは当然のことである。

セイバーメトリクスは以下の記事に詳しいです。

セイバーメトリクス

新たなメトリクスは、チーム全体のパフォーマンスに対する選手の貢献度を説明するものだった。アスレチックスは、新しい予測マシンによって、従来評価されていた選手に比べて知名度の低い選手を特定することができ、その結果、チームのパフォーマンスへの影響度に比べて低価格という点でより良い価値を持つ選手を特定することができた。予測がなければ、これらの選手は他のチームが過小評価していた選手だった。アスレチックスはこれらのバイアスを利用した。

野球の例は『マネーボール』のおかげてイメージ湧きますね。他の例はどうでしょうか？

経験豊富で強力な専門家であっても、人間の予測が難しいことを明確に示しているのは、米国の裁判官の保釈決定の研究からだろう。
裁判官は、被告人が保釈された場合、最終的に有罪判決が下される可能性があるかどうかではなく、被告人が逃げたり他の犯罪を犯したりするかどうかを判断の基準にしなければならない。その判断基準は明確であり、十分に定義されている。
研究では、保釈中の被告人が再犯または逃亡する確率を予測するアルゴリズムを開発するために機械学習が使用された。2008年から2013年までの間にニューヨーク市で保釈された4分の3万人の保釈金を受けた人たちである。その情報には、過去の逮捕歴、告発された犯罪、人口統計学的情報が含まれていた。

マシンは人間の裁判官よりも優れた予測をしました。

例えば、マシンが最も危険と分類した1％の被告人について、62％の被告人が保釈中に犯罪を犯すと予測した。それにもかかわらず、人間の裁判官は、ほぼ半数の被告人を釈放することを選択した。
マシンによる予測は合理的に正確で、機械で識別されたハイリスク犯罪者の63％が保釈中に実際に犯罪を犯し、半数以上が次の法廷に出廷しなかった。マシンがハイリスクと特定した犯罪者のうち、保釈中に強姦や殺人を犯したのは5％だった。

AIの判断が正しい、ということを直接言っているわけではなく、間違いが少ない、ということと解釈しています。

マシンの推奨事項に従うことで、裁判官は同じ数の被告人を釈放し、保釈中の犯罪率を4分の3に減少させることができた。あるいは、犯罪率を同じにして、さらに半分の数の被告人を収監することもできたかもしれない。

実際、何が起こっているのでしょうか？なぜ裁判官は予測マシンとは異なる評価をするのでしょうか？

一つの可能性としては、裁判官がアルゴリズムが利用できない情報、例えば法廷での被告人の外見や態度などを利用していることが考えられる。そのような情報は有用であるかもしれないし、欺瞞的であるかもしれない。釈放された人たちの犯罪率が高いことを考えると、後者の可能性が高いと結論づけるのは不合理ではない。この研究は、この不幸な結論を裏付ける追加の証拠をたくさん提供している。

予測は犯罪率を説明する要因が複雑であるため、このような状況では人間にとって非常に困難であることが証明されています。

予測マシンは、さまざまな指標間の複雑な相互作用を考慮することにおいて、人間よりもはるかに優れている。つまり、過去の犯罪歴があれば、被告人がより大きな逃亡リスクがあることを意味すると考えるかもしれないが、機械は、被告人が一定期間失業していた場合にのみ、そうであることを発見している可能性がある。
言い換えれば、相互作用効果が最も重要である可能性があり、このような相互作用の次元数が増えると、人間の正確な予測を形成する能力は低下する。

予測に必要な指標が多々ありますが、マシンはその相互作用を考慮できます。

このようなバイアスは、専門的な仕事にも常に存在しています。

Mitchell Hoffman 氏、Lisa Kahn 氏、Danielle Li 氏は、15 の低技能サービス企業の採用に関する研究で、通常の面接に加えて客観的で検証可能なテストを使用した場合、面接だけで採用を決定した場合と比較して、採用者の勤続年数が15%増加することを発見した。

上記、目的は在職期間の最大化です。採用担当者は、テストの点数が不利な場合には、それを覆すことができないという条件です。すると、高い勤続年数と離職率の低下が見られたそうです。

このように、在職期間を最大化するように指示された場合でも、採用の経験が豊富な場合でも、かなり正確な機械予測を与えられた場合でも、管理職の予測は不十分なままだった。

人間の不得意分野、よくわかりますね。

今日はここまで。明日はマシンの不得意分野の話になります。

草場壽一
https://sinlab.future-tech-association.org/