『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』感想

正しく怖がる

ここ数年、人工知能(AI)に代表されるビッグデータを用いた数理モデルが、第4次産業革命の到来などと注目を集めている。しかし、それと並行して、AIやビッグデータに対して 不安や危機感を煽るような 誇張された情報が巷にあふれている。往年の名作SF映画、ターミネーターを代表する「AI暴走」モノはその最たる例であろう。

そのような時代において、数理モデルについての正しい知識をもち、正しく怖がることは、それらを有効活用するために無くてはならない。煽られた不安の中では適切な選択は望むべくもないが、正しい問題意識を持てれば より良い社会を築くことができる。

ジャガイモの毒についても同じことがいえるだろう。ジャガイモの全体に毒があるように勘違いしているならば、それを食べることはできない。しかし、ジャガイモの毒について正しい知識があれば、毒のないところを食べることができる。歴史的に見れば、ジャガイモは三十年戦争の惨状からドイツを復興させる原動力の一つになるなど、社会にも多大な貢献をしてきた。

このように、正しい問題意識は問題解決に不可欠である。この本は、現存の数理モデルの問題点を、数学者の視点から知ることができる。これを読んでいると、恐れるべきはAIが暴走することではないと理解できる。警戒するべきは、AIが不完全すぎること、そして何より、AIを使う人間が愚かであることだ。

人間の偏見に汚染される

いままで、雇用や入試、裁判などの判断の場では、意識的にせよ無意識的にせよ差別的な選択が繰り返されてきた。最近の例だと、2018年に発覚した医学部の不正入試問題があげられる。複数の医学部が、性別等による不合理な区別を行い、点数操作を行っていたとされ、大きな問題となった。このような例は歴史上いくらでもある。2020年に至るまで、人間の思考は差別にまみれている。

このような事情から、採用・入学選抜や裁判の場で数理モデルを用いる取り組みが{特にアメリカで}始まっている。人間ではなく数理モデルに処理を任せることで、人間による差別を排除しようしている。性別のデータを入力しなければ、性別で差別することは無くなる、と。(さらに、AIに処理させることで効率の向上も見込める。これは企業や大学にとって そのようなシステムを導入する大きな動機になっている。)

しかしそれでも、数理モデルはしばしば人間の偏見に強く汚染される。モデルは、過去のデータを読み込んで学習する。そのため、そのデータに人種や性別の差別が入り込んでいた場合、直接的に人種や性別を参照せずとも、名前や住所(人種や経済力による集住を特定できる)などのデータによって間接的に差別を学習することになる。一見すると無害なデータであっても、差別の文脈はその社会構造の中で刻み込まれている。その結果、採用現場で自動的に特定の人種だけが落とされる、ということが起こりかねない。

この本では、書類選考をコンピュータに任せた イギリスのとある医科大学の例が出てくる。その大学は、過去の膨大な選考データをモデルに与えて学習させ、アルゴリズムに書類選考を行わせた。しかし過去の人間の審査では、英語の能力が低い傾向にあることから 移民や外国籍の応募者を切り捨てていたため、アルゴリズムはそれを学習し 差別を忠実に実行した。名前や住所などのデータにも社会の構造が現れており、公平な選考のためにはこれを排除する必要がある。

搾取ではなく支援を

この本には他にも、差別の文脈をうまく読み取り、社会構造的に不利益を被ってきた人々を発見し、しいたげるように使われる数理モデルが複数登場する。この搾取システムはそのままでは弱者を再生産するためにしか役に立たない。弱者が搾取されれば、ますます弱くなる。悪循環に陥ることは目に見えている。

貧困の中努力しても、貧民街の住所であることが災いして入試の書類選考AIに落とされる少女は、一生貧困のままで生活していくことになる可能性が高い。これは社会としての損失だ。

ではどうするべきか。著者は、モデルの目的に着目している。「差別の文脈をうまく読み取り、社会構造的に不利益を被ってきた人々を発見」することが得意なアルゴリズムがたくさんある。それならば、モデルの目的を弱者の支援という観点からみることができれば、これらのモデルは社会に貢献することができる。

貧民街に住む少女を切り捨てるのではなく、彼女に奨学金を与えるようにすることだって可能なはずだし、そうでなくては公平ではない。さらにいえば、貧民街のこどもたちに教育がいきわたるように資源を集中させるべきだろう。モデルの使い方を変えることで、それは悪魔にも天使にもなりうる。

搾取ではなく支援を、これは私がこの本を読んで得たいちばんの知見だ。

ビッグデータにはできないこと

私がこの本を通して学んだことは、ビッグデータや数理モデルは、人間がその作り方や使い方を誤れば社会を壊しかねないことだ（勝手に人類を滅ぼしたりはしない）。そのまま放っておけば、徐々に社会をむしばみ、格差を再生産する一要因になる。しかしそれを社会的弱者のために使うことができるならば、格差を是正するための大きな武器になるだろう。

数理モデルと違い、人間は自己の思考をメタ的に認知し、独力でその内部モデルを進化させることができる。常にひとつ大きな視座から自己の行動や思考を監視し、アップデートする可能性を秘めている。モデルにはできないことだ。データは過去を成文化するものであり、そこからモデルは過去に似たパターンの未来しか予想できない。未来を変えていくのは人間だ。私たちは、テクノロジーを過度に恐れることなく、正しい問題意識をもって未来を変えていかなければならない。

おわり

https://www.amazon.co.jp/dp/4772695605