『Weapons of Math Destruction』 Cathy O'Neil

Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy

読了したので。

2016年に出版された本で、自分の関心領域にドンピシャな内容ばかりで、もっと早く読めば（知っていれば）よかった。概要は著者本人によるTEDトークで聞ける。

ビッグデータを盲信する時代に終止符を

O'Neil氏はビッグデータを駆使した有害なモデルをWeapons of（Massではなく）Math Destruction（WMD）と呼ぶ。彼女の定義によるとWMDの3大要素は：Opacity、Scale、Damage。

Opacityはいわゆるブラックボックスで、データをモデルにインプットすると、なにかしらアウトプットが吐き出されるが、中のアルゴリズムがわからない（もしくはわかっても理解できない）ことを指す。また、アルゴリズムだけではなく、本のなかで挙げられたCredit scoreやe-scoreの事例だと、企業に対して自分の情報開示を要求しても、多くの場合、（うまくいけば）事実（例えば自分の購買履歴など）は開示されるが、モデルが吐き出されたアウトプット自体は開示・説明されない（例、モデルによって自分が振り分けられたセグメントなど）。

Scaleは自明である。たとえば、昔人（採用担当）の目で応募者の履歴書を確認し選別していたところ、機械＋モデルを導入することによって同じ時間で「処理」できる履歴書の数は従来の10倍、100倍になってもおかしくない。バイアスを持つ一人の担当者と、バイアスを持つ一つのモデルの影響範囲は、もはや比較できないぐらいスケールの差が大きい。

OpacityとScaleは善意的なモデルでも抱える性質だが、Damageは名の通り、3つの要素のなかでもモデルが有害かどうかを左右する決定的な要素である。そもそもこのモデルがサクセスをどう定義しているか、いわゆるKPIをなににしているかによって、WMDになるかのリスクが大きく左右される。

世の中に多くのモデルは、企業の利益最大化をするための中間指標がKPIにセットされる。（念の為、利益最大化の中間指標をKPIにすると必ずWMDになるわけではない！）たとえば、アルバイトシフトをどう組めば店舗にとって一番コスパがいいのか、という課題を最適化すると、同じ店員が深夜までのラストシフトと早朝からのファーストシフトが（clopening: close + open）割り振られるケースは珍しくない。一個人としての店員への影響は考慮されない可能性が高く、特に最低賃金ジョブの場合、供給が多いため、WMDがもたらす悪影響を我慢してまでも仕事を続けないといけない人々が多い。

ほかに印象に残った重要なポイントは、Feedback Loop、Model refining、Proxies usage 、Birds of a feather。

Feedback LoopはWMDが生み出す悪循環のこと。たとえば、アメリカでは採用条件として広く使われている性格テストがあり（日本でいうとSPIかな）、一度性格テストのスコアのせいで（多くの場合基準も公開されていなければ、その理由で落ちたことも知らされないまま）不採用になった人は失業期間が長くなるにつれ、さらに就職しにくくなるような負のスパイラルが起こり得る。

Model refiningはいわゆるモデルチューニングで、上述のような採用のケースだと、仮に不採用になった人が別の企業で採用されて、非常にパフォーマンスがよかったとしても、そのデータ（前の判断は間違いだったよ）をフィードバックすることによって、モデルを改善することは現実的考えられない。

Proxies usageは、説明変数（ローンを返済するかどうかなど）に直接影響しない要素をモデルに入れて、相関関係を因果関係と勘違いするような行為。本のなかで挙げられた例だと、どうやらアメリカではcredit scoreによって（それだけではないが）、車の保険料金が決まるモデルがあるそうだ。人々がきちんと支払いを行っているかどうかが、無事故で運転できるかと関係があるとは思いにくい。ただし、実際それが理由で高額な保険料が請求される人々はいる、しかも大体恵まれていない人が多い。

Birds of a featherは、類は友を呼ぶという意味で、似たデータポイントを持つ同士は似た行動をすると仮定するようなモデルを指す。たとえば、治安が悪いエリアに在住、Facebookで刑務所にいた友達が何人かいるといったデータポイントを持つだけで、自分の過去行動では犯罪と結び付くことが一切ないにもかかわらず、将来犯罪する確率が高いと勝手に予測される（実際存在しているモデルである）

本書ではこのノートでもいくつか触れたように、アメリカにおける様々な領域での事例が紹介されて（教育、人材、保険、金融、司法、警察など）WMDはほぼ生活のあらゆる部分に浸透しているようだが、日本ではどうだろう。

個人情報保護委、“リクナビの内定辞退率”利用企業に行政指導　トヨタ、京セラなど35社

今年報道されたリクナビ内定辞退率問題で、個人情報保護の観点から議論されることが多いが（たしかにそもそも個人情報の定義や許諾面ですでに問題になっている点があるから仕方がないけど）仮に法律を100%守って情報を取得できたとしても、WMDになるリスクが非常に高い点は容易に想像できる。

著者のCathy O'Neilは、O'Neil Risk Consulting & Algorithmic Auditingという「企業と組織がアルゴリズムリスクを管理および監査するのを支援するコンサルティング会社」を設立して、WMDの（彼女の言葉を借りると）「武装解除」に力を入れている。

ORCAA

日本にもこういう会社があれば、働いてみたいななんて考えたりする年末年始でした。