クレジットスコアとAIが生み出す貧困への力学をどう防ぐか
本記事は、クレジットスコアとAIアルゴリズムによる評価が社会の様々なところにおいて活用されていく中で、デジタルやデータバイアスもあいまって貧困が半ば強制的に生み出されてしまうという問題に関する記事です。
Coded Bias / AIに潜む偏見
Netflixで、「Coded Bias」というドキュメンタリーフィルムを視聴することができる。邦題は、「AIに潜む偏見: 人工知能における公平とは」である。
MIT Media Labで学ぶJoy Buolamwini氏はSFから着想を得て作品制作を行う課題に顔認識技術を採用する。しかし、黒人である彼女の顔を顔認識技術は中々認識してくれない。調べていく中で、有色人種よりも白人、女性よりも男性の方がAIは認識しやすい事実に辿り着く。そのようなエピソードから始まり、フィルムは顔認識技術そのものや犯罪防止を目的とした応用、クレジット審査、TechGiantの採用AIアルゴリズム、ユーザーから学ぶ会話型AI、それらもまたアンコンシャス・バイアスの影響下にあることを明らかにしていく。
過去に縛られるAIと説明可能性
現代のAIは機械学習をベースとすることが多く、機械学習モデルはトレーニングデータによって構築される。データとは常に過去に存在していた現象や認識、判断、行為の記録であり、それらが過去に支配的であった観念やパラダイムにとらわれている。そうであるがゆえにデータには常に偏りが存在する。データの偏り、すなわちデータバイアスに対して細心の注意を払い、未来への予測やアクションにおいていかに過学習とならないようにモデルを構築したとしても、データは原則として過去の遺産であることから逃れられず、データに基づくモデルとそこからのアクションは、過去に縛られたものにならざるを得ない。
今後、AIが社会を支えていく基盤として信頼されていくためにも、AIがどのようなデータから影響を受け、どうしてそのような意志決定をしたかというアルゴリズムの透明性、説明可能性がますます求められるようになってくる。そのためのアプローチである XAI （Explainable AI）については、先日、以下の記事にて紹介した。
記事内でも触れているが、AIの精度と説明可能性はトレードオフの関係にある。アプリケーションによっては精度を優先的に追求し、説明可能性は劣後させても問題がない場合もある。しかし、もしクレジットカードの申請や企業への採用の応募がAIによって却下された場合は検証が必要になる。判断過程のブラックボックス化は当事者たちに自己改善の機会を与えない。AIによる意思決定の自動化は時に不公平を繰り返し生産し続ける装置となる。「Coded Bias」もその問題を指摘している。
Poverty Lawgorithms / AIと戦うためのガイド
国によってはクレジットスコアは歴史があり、基盤として社会を広く支えてきた。
例えば、アメリカでは、支払い履歴に基づく信用情報と信用履歴によって計算されるクレジットスコアは、生活の隅々で使われている指標となっている。クレジットカードの入会やローンの審査、住宅の購入や部屋の賃貸、携帯電話の加入や就職活動にまで大きな影響を持っている。信用情報がなければ、クレジットカードは持てず、アパートの部屋は借りられない。クレジットスコアが低ければ、より高率のローン金利に甘んじることになり、就職にも困難が伴う。
アメリカが信用情報を重視するのは、国外からやってくる移民に関してローンや賃貸等の審査プロセスにおいて、申し込み者を信用していいものかどうかの判断を適切に行うため、人種や人権上の配慮から客観的な数値であるクレジットスコアを用いて個人の信用力を定量化し、意志決定しているためと考えられている。
昨今、このクレジットスコアによる定量的な信用評価が、AIアルゴリズムによる判断のインプットとなっており、そのインパクトを拡大させてきている。その中、クレジットスコアとAIが結びつき、データの量と種類を増やして行われる自動的な意思決定のリスクが議論されるようになってきた。何らかのデータバイアスや誤ったデータに基づくAIの判断により偏りのある不利な評価をされ、またそれが結果的にクレジットスコアにダメージを与えるようになる負のスパイラルが形成され、より加速度的に貧困へと落とされる人々が出るというような問題だ。
我々の生きているこの現代が、様々なサービスをオンラインで手軽に利用できるデジタル時代であるという事実も、このリスクに関わっている。今日、銀行もクレジットカードも自動車購入も住宅賃貸も携帯加入もオンラインで行うことが可能になった。それにより、アメリカではクレジットスコアもまたこれまで以上に活用されるようになっている一方で、クレジットスコアを知らないうちに低下させる人も現れるようになった。デジタルのサービスは名義貸しが当事者が同意していれば従来よりも容易であり、例えば配偶者や家族、親友、知人がデジタルバンクの口座を開設したり、ローンを申し込んだり、サービスを使うのに簡単に名義やIDを貸してしまい、知らないうちに家賃や光熱費の支払いを滞らせたり、借金をしたりしてクレジットスコアを毀損させるケースが出てきた。ここにAIが組み合わさり、社会生活の様々な局面で不利をこうむり、貧困が強制されていく、負のスパイラルへと突入する。
この問題は既にクレジットスコアとAIの組み合わせが普及しているアメリカにおいて深刻なものとして認識されつつある。あまねく普及しているがゆえに、そのような評価・判断のシステムを使っている人はどこにでもいる社会一般の人であり、その結果を受け取っている人も一般の人である。例えば、クリニックの医師や看護士、自動車販売のディーラー、不動産鑑定士、携帯電話販売店の店員がAIを用い、購入や契約の可否の判断結果を患者や客が受け取る。多くの場合、どちらもデータサイエンスや現代的な機械学習ベースのAIの詳細に馴染みがあるというわけではないため、何が起きているのかを説明できないし、理解できない。データとAIのバイアスが根底に存在し、それが負のスパイラルを形成しているかもしれないということは想像すら難しい。
更に長年貧困問題を扱い、戦ってきた民事弁護士たち（Poverty Lawyers）も、データサイエンスのような潮流は未知の領域であるため、近年進行している貧困を生み出す新たな力学に関してどう捉え、どう取り組むべきか頭を悩ましている。
インドのノーベル経済学受賞者であるアマルティア・センによると貧困とは、潜在能力を実現する権利の剥奪と定義している。このケースはまさにそれにつながる。以下の記事では、このデジタルとクレジットスコアとAIが組み合わさった非常に厄介な課題について紹介している。
このような困難に対処すべく、独立系NPO調査期間である Data & Society Research が、2020年9月にPoverty Lawyers 向けに、AIアルゴリズム問題と戦うためのガイド「Poverty Lawgorithms」を発表している。消費者法、家族法、住宅、公的給付、学校・教育、労働者の権利という6つの主要な実務分野に分けて、AIアルゴリズムやその他のデータに基づく処理によって自動的な意思決定がなされて生じる問題に、既存の法律の範囲内でどのように対処すべきかを説明している。
既存のシステムにAIが搭載され、貧困が加速する
本来的には、AIによるクレジットスコアのサービスは、従前与信を受けれなかった人々に新たな道を拓く応用があるものだ。例えば、金融機関における取引のレコードが存在しないために信用情報がなく、銀行から融資を受けれない人でも、SNSでのフォロワーの多さやインターネットサービスの利用履歴から知ることができる生活能力により、支払い能力を認められて融資を受けれるというような与信AIがある。ドイツのフィンテックスタートアップ KreditechやシンガポールのAND Global 等のサービスが知られている。
このような応用は、ミレニアル世代や既存のクレジットスコアリングでは正当な評価ができず、十分な各種サービスを受けられていない多くの人たちを救済するポテンシャルがある。ざっとその数字は20億人の規模に達し、社会の厚生や参画を劇的に改善しうる。また、この応用は今まで用いられなかったデータを用いることで、冒頭で述べたような、過去のデータバイアスに基づく評価からも自由になれる可能性を示唆している。
であるが、Poverty Lawgorithms が取り組んでいる問題は真逆である。クレジットスコアがデジタルにより知らないうちに傷つき、今まで以上に社会生活に必要な各種サービスを受けれず、就職もできず、時には失業給付も拒否されて困窮状態になる。貧困を生み出す仕組みにAIが加担する構図になっている。
この問題は、既存の社会システムの上に単純にAIが組み合わさったことで起きている現象といえる。本来ならば、KreditechやAND Global のように、今までにない可能性を広げるクレジットスコアリングの仕組みを作り、普及させなければいけないところで、実際は、従来の仕組みを強固なものにしてしまう形でAIを結合しており、それにより時には過去のデータバイアスやデータの誤りを強化してしまう状況を引き起こしている。
透明性や説明可能性を確保し、公正・公平なAIを求める原則を定める動き
そもそもAIに関する透明性や説明可能性を確保し、公正・公平でない活用は防止されるべきと考え、AIにおけるELSI（倫理的・法的・社会的影響）考慮の観点から、AIに関する原則や指針を定めたり、勧告を行う動きは近年活発になってきた。
Jessica Field らがまとめた AI 原則年表によれば、2016 年 9 月の Partnership on AI による信条（Tenets）に始まり、アメリカのFuture of Life Instituteによる人間にとって有益なAIを実現するための「アシロマ AI 原則」、Microsoft や Google によるAI原則等が続き、このような動きも一般に知られるようになった。
シンガポールでは金融業界における AI・ データ分析の利用の際の公正性、倫理、アカウンタビリティ、透明性の促進のための指針が示され、他にもイギリスでは、政府や公的機関が責任を持って適切にデータを利用できるようにするための「Data Ethics Framework」が定められ、その後、このフレームワークを補完する目的で、The Alan Turing Instituteから「Understanding artificial intelligence ethics and safety」が公表されている。そして、経済協力開発機構（OECD）が、2019年5月にAIに関する勧告を発表。AIを活用する組織や個人は、人間中心の価値観及び公平性、透明性及び説明可能性、説明責任等を果たすことを求めた。
日本においては、2018年に総務省によって「AI利活用原則案」が、内閣府によって「人間中心のAI社会原則」が打ち出され、透明性やアカウンタビリティ、過度にAIに依存しない社会のあり方に関する原則が示されている。
学会においても同様の動きがある。日本の人工知能学会において、2017年に「人工知能学会 倫理指針」が定められている。また、2018年には、コンピューターサイエンスの国際学会であるACMにおいて、AIを含む社会技術システムにおける、「公平性、説明責任及び透明性」を研究するためのカンファレンス「ACM FAT」が始まっている。同じく、機械学習のトップカンファレンスであるICML（International Conference on Machine Learning）も、機械学習におけるFATを議論する「FAT／ML」を併催している。
自動意思決定への規制
見てきたように政府・公共機関、様々な企業や組織によって原則や自主規制を定めていこうという動きが広がってきている。しかし、前述の Poverty Lawgorithmsが対象とするような差別的インパクト、負のスパイラルを形成する問題をどう防いでいくかに関しては、より具体的にAIアルゴリズムによる自動意思決定の規制へと踏み込んでいく流れもある。
EU（欧州連合）では、個人情報の保護という基本的人権の確保を目的とした GDPR（ General Data Protection Regulation： 一般データ保護規則）が、2018年5月から適用が開始されている。この規則の第22条において、クレジットスコアとAIアルゴリズムによる自動化された意思決定が禁止されている。消費者（データ主体）は、プロファイリングを含む自動処理のみに基づく決定が、自己に関する法的効果を生じさせるか、または同様に自己に重大な影響を与えることを拒否する権利を有すると定められている。
2020年1月から適用が行われ、GDPRと並んで参照されることの多い、アメリカ・カリフォルニア州のCCPA（California Consumer Privacy Act： カリフォルニア州消費者プライバシー法）においては、州有権者からプライバシー保護強化のための改正法案であるCPRA（California Privacy Rights Act： カリフォルニア州プライバシー権法）が提案され、2020年12月に承認された。CCPA2.0とも呼ばれる、このCPRAにより、自動的意思決定のオプトアウト権が認められている。CPRAではプロファイリングを「個人データの自動処理によって、職場での成績、経済状況、健康状況、趣味嗜好、興味、扶養関係、行動、位置・移動等を予想すること」と定義したうえで、これに対するオプトアウト権を認める、とされている。
カナダでは、政府内での AI の利用の増加を見込み、自動意思決定システムが国民や政府機関に与える影響を低減させ、正確で、一貫性があり、解釈可能な意思決定を目指すことを目的とする「Directive on Automated Decision-Making（自動意思決定に関する指令）」を定め、2020年4 月に施行している。この指令によれば、アルゴリズムやそのインパ クトに関するアセスメント、透明性の確保、品質の確保、実効性に関する報告が求められている。
他にも各国においてAIアルゴリズムによる自動化された意思決定を規制する動きが見られる。ブラジルのLGPD（一般データ保護規則）第20条や、ロシアのOPD（ロシアデータ保護法）第16条等である。法的拘束力はないが、中国の「個人情報安全規範」においては、自動化された意思決定に苦情申し立てをすることができることが記されている。
異議申し立て、データの訂正・削除、使用中止請求
自動化された意思決定に関する規制があっても、禁止ではなくオプトアウト権の付与等であれば、実際には問題は起こりうる。可能であれば、不当な、もしくは身に覚えのない判断がAIによってなされていると気づいた際には異議申し立てができるべきであり、データの訂正・削除やあるいは使用中止を求めることが重要なアクションになる。
多くのデータ保護・プライバシー保護に関連する規制・法令においては、異議申し立てや、データの訂正・削除・使用中止を認めている。例えば、前述したGDPRは、データ主体に対して、情報提供を受ける権利（13条）、アクセス権（15条）、訂正権（16条）、削除権（17条）、取扱制限権（18条）および異議申立権（21条）を付与している。CCPAでも同様に、開示請求、削除請求、販売中止請求を認めている。
カナダでは、前述した「自動的意思決定に関する指令」においても異議申し立ての機会の提供が定められており、また、PIPEDA（Personal Information Protection and Electronic Documents Act： 個人情報保護および電子文書法）にて、個人に関して集められた情報へアクセスする権利をデータ主体に付与し、必要に応じて情報を修正することが認められるとしている。
日本においては、個人情報保護法において、データ主体による開示請求があった際の開示が義務付けられており、データ主体個人は訂正・追加・削除、利用停止・消去、第三者提供の停止を請求することが可能とされている。しかし、事業者は第28条において開示請求の拒否を行うことができ、例えば、平成27年5月の東京高裁判決における、懲戒解雇における個人情報開示が認められなかった判例がある。
アメリカのPoverty Lawgorithmsにおいて、例えば、クレジットスコアが低いことを理由にデータ主体たるクライアントがアパートの購入を拒否された場合、まず弁護士がスコアリングシステムに入力されているデータが正確かどうかを確認することを推奨している。FCRA（Fair Credit Reporting Act： 公正信用報告法）という法律により、信用情報の報告機関は情報の有効性を確認することが義務付けられている。また、ネガティブ情報は通常7年、破産宣告なら10年以上経過したものは提供してはならない等と定められている。更に信用情報を用いる企業にも一定の義務を負わせている。加えて同法律においても、データ主体に対してその情報に対するアクセス権と過誤を訂正する権利を保障している。誤ったデータ、身に覚えのないデータに異議を唱え、訂正を試みることで負のスパイラルに入ることを防止することができる。しかし、現在の法律もその運用の実際においては限界もあり、Poverty Lawgorithmsもそれを認めている。防ごうとする規制や法令の動きと実態におけるギャップは、引き続き埋めていく必要がある。
不当な差別に晒されてはならない
2021年3月16日、スイスに本部を構える労働組合の国際組織であるUNI Global Union の欧州金融部会は、欧州の保険業界使用者団体である欧州保険協会、BIPAR（国際保険募集人連盟）及びAMICE（ヨーロッパ協同組合・相互保険者協会）と、AIに関する共同宣言に署名し、AIについて業界全体で責任ある倫理的な運用に取組んでいくことに合意した。AIが労働条件の改善や生産性の向上に資することを認識する一方、採用プロセスやマネジメントにAIを使用した際に偏見が生じる危険性等を指摘し、労働者がAIによって不当な偏見や差別に晒されてはならないと訴えている。
専門家参加型AI
AIの開発アプローチにおいて、データから機械学習アルゴリズムに学習させるだけでなく、人間の洞察を組み合わせてよりよいAIモデルを構築していくというHITL（人間参加型AI）というコンセプトがある。
社会に広くインパクトをもたらしうる活用の実態に関しては、AIによるソリューションがどんなにスマートで効率的であっても、その運用には人の慎重な関与が必要だろう。このようなある種の差別的インパクトや間接差別をもたらしうる問題については、人間の価値を反映させたガイドが必要だ。データサイエンスの専門家によるHITL（人間参加型AI）に留まるだけではなく、例えば、貧困問題を専門とする民事弁護士のような、社会のそれぞれの領域の専門家が参加する専門家参加型のAI適用、あるいは、更に概念を拡張させたSociety-in-the-loopというような方法論が重要になってくるのかもしれない。
終わりに
以上、クレジットスコアとAIが強制的に貧困を生み出す現象とその防止や克服の動きについて述べた。
今回、Poverty Lawgorithms を例に既存の社会システムの上に、単純にAIが組み合わさったことで貧困が生み出されるという問題と対処を紹介した。また本来は、従来救済されなかった人を救済する可能性をAIが持っているということも言及した。大切なのは、既存のシステムを効率化させるためというような単純なAIの活用のみに流れるのではなく、「何をなすためにAIを使うのか」というパーパスをもった新しいシステムのデザインに挑んでいくことである。将来、どのような世の中を生み出していきたいかというビジョンがまずあり、そこからのバックキャストとして今現在を捉え直し、あるべき社会システムを設計して構築していく必要がある。そのためにも、AIに代表される各種先端技術が社会の可能性を切り開けるような活用の推進と、従来のシステムの悪化を防ぐための規制強化を同時に行えることが肝ともいえる。
仕組みの増改築や改善は時に不幸を生む罠を作り出す。既存のシステムとその上に乗せるだけの先端アルゴリズムは、理想の未来ではなく過去の規範に従うことになる。これでは社会の進歩にはつながらず、むしろそれにブレーキをかけることになるだろう。過去のバイアスや誤りから自由になり、未来に希望をもたらしていくためには、常にゼロベースでの従来にないアプローチがとれるかが極めて重要である。
この記事が気に入ったらサポートをしてみませんか？