ニューヨーク市における自動雇用決定ツール（Automated Employment Decision Tools:AEDT）規制の導入について
１．ポイント
2023年7月にニューヨーク市が導入した自動雇用決定ツールへの規制の内容とその形成過程を紹介する。この規制は差別を抑制する目的で設けられたもので、自動雇用決定ツールを利用しようとする雇用主等は、利用開始の1年前にツールの「バイアス監査」を完了することが求められる。
規制の制定過程では公聴会やパブリックコメントにおいて数多くの意見が寄せられ、活発な議論が行われたが、特に規制の対象とするツールの範囲と監査すべきバイアスの範囲が主要な焦点となった。
雇用決定には人間の判断も関わるため、規制の対象範囲をどこまで広げるかは重要な課題である。範囲を広くとると多くの雇用決定が含まれる可能性があるが逆に狭くすると限定的なケースのみが対象となるリスクも生じる。バイアス監査のもたらす負担と、開発側の条件による規制の限界によって、「規制すべき範囲か否か」と「負担等に見合う規制範囲か」のトレードオフ、および、「規制範囲は明確か」と「規制すべき範囲か否か（規制すべきものが規制できているか）」のトレードオフが生じている。
また、規制の対象となる技術を特定することで、技術の発展が偏るリスクや、規制の範囲が不明確になるリスクを伴う。さらに、バイアスの監査には多くのデータが必要となり、その収集と利用は個人情報保護や関係者の負担との間でトレードオフの関係が生じることが考えられる。
２．はじめに
2023年7月5日、ニューヨーク市消費者・労働者保護省（NYC Department of Consumer and Worker Protection 以下「DCWP」）は、自動雇用決定ツール（Automated Employment Decision Tools 以下「AEDT」）を規制する新しい法律である2021年地方法第144号（L144-2021 以下「新法」）を実施するための規則（以下「新規則」）を施行した。
新法と新規則は、AEDT使用の1年前にバイアス監査を受け、その結果の公開と一定の通知が従業員または求職者に提供されない限り、雇用主および人材派遣会社のAEDT使用を禁止している。
これにより、ニューヨーク市は全米で初めてAEDTに対する規制を導入した。今後、米国内の自治体ではこの規制を参考にして、同様の規制についての検討も進むものと考えられる。
一方で、新規則導入に当たっては、雇用主、人材派遣会社、法律事務所、AEDT開発者、擁護団体を含む一般市民から２回のパブリックコメントではそれぞれ170ページを超える様々な意見が寄せられ、施行が当初の予定（2023年4月15日）から遅れるなど、実施に向けた議論が活発に行われた。
本稿においては、全米でのリーディングケースとなるであろう新法と新規則の制度形成過程、つまり、どのように制度や条項が設計され、どのような議論を経て、どのように変更や調整が行われたのかを紹介する。なお、本稿において意見にわたる部分は筆者の私見である。
（注）L144及び新規則その他の基本的なAEDT規制の情報については、DCWPウェブサイト「Automated Employment Decision Tools (AEDT)」（https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page）
なお、新法はニューヨーク市行政法第5編第20章に新たに条項を追加することを内容とした一部改正法であり、新規則はニューヨーク市規則第6編第5章に新たに条項を追加することを内容とした一部改正規則である。以下説明の便宜上、改正後の条項については単に「 新法§ 20-871」などと記載する。
３．AEDTとは何か
新法と新規則におけるAEDT規制において、大きな論点となったのが、AEDTの定義、すなわち規制の範囲である。新法と新規則における具体的な定義については後述するが、まずはAEDTがどのようなものかというイメージを掴んでいただくため、本稿の導入として、新法の立案者が想定していたであろうAEDTの典型例を紹介する。
新法の法案段階（Int.No.1894-2020）におけるニューヨーク市議会技術委員会（Committee on Technology）の報告においては、自動決定ツールの雇用における利用に関して以下のように述べている。
「（略）例えば、トロントを拠点とするスタートアップ企業Idealは、履歴書をスクリーニングし、応募者からチャットボットを通じてシフトの空き状況やスキルに関する情報を収集し、適格な候補者を推薦することで、様々な大手小売企業の採用を支援している。ファストフードのフランチャイズ企業の中には、同社が請負業者に開発を依頼した集中型の候補者スクリーニング・システムを利用しているところもある。このシステムは、応募書類をマネージャーが確認する前に、労働者をアルゴリズムで評価する。この人工知能テクノロジーは、候補者のオンラインプレゼンスをスキャンしたり、候補者の行動やマナーを評価する目的で面接ビデオを分析したり、候補者がそのポジションに適しているかどうかを評価するためにテクノロジーを使用したりと、さまざまな方法で使用することができる。 このテクノロジーは、履歴書をキーワードでスキャンし、職務経験や学歴などのさまざまな指標に基づいて最も適任の候補者を抽出することで、履歴書を迅速に評価するためにも使用できる。 AIシステムには、不適格な候補者を推薦してしまう可能性があるなどの欠点もあるが、AIツールは人間よりも迅速に応募書類を確認できるため魅力的であり、AIの性質上、これらのツールは失敗から「学習」して機能を改善することができる。（略）」
４．AEDT規制の目的・効果
AEDT規制の導入意義については、法案の提案者であるLaurie A. Cumboニューヨーク市議会議員が以下のように述べている。
「今日、オンラインで募集した求人には、インターネットの増幅効果により、数十から数百、数千の応募がある。労働統計局はオンライン上の研究発表で、2018年、アメリカ人全体が1件の面接を受けるために少なくとも6件の応募書類を提出しなければならなかったと指摘した。受け取ったユーザーの履歴書には不透明なプロセスが施されていた。この法案では、このようなプロセスの霧を晴らし、採用プロセスにおける暗黙の偏見や差別をなくすのに役立つ監査を義務づけるものである。法案は、雇用主が面接の対象とする履歴書を決定するために使用する自動スクリーニング・ツールに潜在的な買い手が組み込まれることを減らし、どの候補者が職場で成功するかを決定するための差別的指標の使用を削減する。最後に、法案は、雇用主がこのような採用決定ツールを使用する場合、応募者への通知を義務付けている。このようなツールが評価に使用されることを決定し、認識することを奨励することにより、雇用と採用のこの新しいフロンティアを知る必要のある、より多くのニューヨーカーに知らせることができる。」
1964 年公民権法第 7 編は、一般に、人種、肌の色、宗教、性別 (妊娠、性的指向、性同一性を含む)、または国籍に基づく雇用差別を禁止している。
そして、米国雇用機会均等委員会（U.S.Equal Employment Opportunity Commission 以下「EEOC」）は、他の選考手順やテストと同様、
「アルゴリズムによる意思決定ツールの使用が、特定の人種、肌の色、宗教、性別、または国籍の個人、あるいはそのような特徴の特定の組み合わせ（例えば、アジア系女性の応募者のような人種と性別の組み合わせ）を持つ個人に悪影響を及ぼす場合、雇用主がその使用が公民権法第 7 編に従って「職務に関連し、業務上の必要性に合致している」ことを証明できない限り、ツールの使用は公民権法第７編に違反」する
と述べている。
また、AEDT規制に関するFAQにおいて、
「新法は雇用主や人材派遣会社にバイアス監査の結果に基づく具体的な措置を義務付けているわけではない」が、「雇用主および人材派遣会社は、関連するすべての差別禁止法および規則を遵守し、バイアス監査の結果に基づいて必要な措置を決定する必要がある」
と説明されている。
したがって、AEDT規制は、個別の差別禁止法の適用を前提としており、監査の実施および通知・公表を義務付けることによる予防効果がその導入意義と考えられる。
５．新法と新規則におけるAEDT規制の内容
新法と新規則におけるAEDT規制の内容（留意点を含む。）について、DCWPが雇用主等に向けて公表している説明資料の内容に沿って説明する。
〇規制の概要
・人工知能やデータ分析など、雇用や昇進を支援するコンピューターベースの技術であるAEDTの使用を規制する。
・AEDTを使用する場合、雇用主や人材派遣会社は以下のことを行わなければならない。
➢採用や昇進のためにAEDTを使用する前に、1年以内にAEDTの「バイアス監査」を完了すること
➢求職者にAEDTの使用に関する通知を提供すること
〇AEDTの３要素
①機械学習、統計モデリング、データ分析、または人工知能
・数学的、コンピュータベースの技術群：
➢スコア、ランク、分類、評価などの予測を生成する。
➢コンピュータが少なくとも以下について部分的に識別する。
➢入力、
➢それらの入力に置かれた相対的な重要度、および
➢（ある場合は）予測や分類の精度を向上させるためのモデルの他のパラメータ
②採用決定／スクリーニング
・採用や昇進のプロセスにおいて、応募者を採用または昇進させるべきかどうかの判断を支援すること
(例)履歴書スクリーニング・ソフトウェアが、どの応募者を面接に選ぶかを決定するために使用されている場合、それは「採用決定」 に使用されている。
③裁量による意思決定を実質的に支援または代替するもの
・採用決定においてツールが唯一の要素であること、
(例)履歴書スクリーニング・ソフトウェアが、直接面接の対象者を決定する。
・採用決定において、ツールが最も重要な要素であること、または
(例) 履歴書審査ソフトと人力審査ソフトを併用して、応募者を採点し、誰が採用されるかを決定する場合で、履歴書審査ソフトを人間の採点よりも重視する。
・ツールが採用決定を覆すこと
(例)人間が履歴書を確認し、面接する10人を選ぶ。面接の日程を決める前に、履歴書スクリーニングソフトを使用し、合わない候補者を除外する。
〇AEDT使用前の要件ーバイアス監査
・独立監査人による実施
➢ バイアス監査は、ツールを使用または開発する事業者は実施できない。
・使用前1年以内
➢AEDTの直近のバイアス監査から1年以上経過している場合、雇用主または人材派遣会社はAEDTを使用することも、使用を継続することもできない。
・結果の概要
➢ 雇用主または人材派遣会社は、ウェブサイトの雇用セクションに結果の概要を掲載しなければならない。
〇バイアス監査の要件
①最低限求められる計算
➢ 選考率または得点率（あるカテゴリーにおいて個人が選考される又は中央値以上の点数を得る割合）
➢ 影響比率（(1)あるカテゴリーの選考率を最も選考されたカテゴリーの選考率で割ったもの、または(2)あるカテゴリーの得点率を最も得点の高いカテゴリーの得点率で割ったもの）
➢ 性別カテゴリー、人種／民族カテゴリー、交差カテゴリー（性別カテゴリーおよび人種／民族カテゴリーを組み合わせたカテゴリー）のそれぞれにおいて上記の計算を行う。
➢独立監査人は、バイアス監査に使用されるデータの 2%未満であるカテゴリーを、必要な影響比率の計算から除外することができる。
※性別カテゴリーの計算例
$$
\begin{array}{|l|l|l|l|l|} \hline
\text{性別} & \text{応募者数} & \text{選考者数} & \text{選考率} & \text{影響比率} \\ \hline
\text{男性} & \text{1390} & \text{667} & \text{0.48} & \text{1} \\ \hline
\text{女性} & \text{1181} & \text{555} & \text{0.47} & \text{0.979} \\ \hline
\end{array}
$$
※人種/民族カテゴリーの計算例
$$
\begin{array}{|l|l|l|l|l|} \hline
\text{人種／民族} & \text{応募者数} & \text{選考者数} & \text{選考率} & \text{影響比率} \\ \hline
\text{ヒスパニック・ラティーノ} & \text{408} & \text{204} & \text{0.5} & \text{0.97} \\ \hline
\text{白人（非ヒスパニック・ラティーノ）} & \text{797} & \text{412} & \text{0.52} & \text{1} \\ \hline
\text{黒人またはアフリカ系アメリカ人（非ヒスパニック・ラティーノ）} & \text{390} & \text{170} & \text{0.44} & \text{0.84} \\ \hline
\text{ハワイ先住民と太平洋諸島先住民（非ヒスパニック・ラティーノ）} & \text{119} & \text{52} & \text{0.44} & \text{0.85} \\ \hline
\text{アジア系（非ヒスパニック・ラティーノ）} & \text{616} & \text{302} & \text{0.49} & \text{0.95} \\ \hline
\text{アメリカ先住民とアラスカ先住民 （非ヒスパニック・ラティーノ）} & \text{41} & \text{18} & \text{0.44} & \text{0.85} \\ \hline
\text{複数人種（非ヒスパニック・ラティーノ）} & \text{213} & \text{96} & \text{0.45} & \text{0.87} \\ \hline
\end{array}
$$
※交差カテゴリーの計算例
$$
\begin{array}{|l|l|l|l|l|l|l|} \hline
\text{人種／民族１} & \text{性別} & \text{人種／民族２} & \text{応募者数} & \text{選考者数} & \text{選考率} & \text{影響比率} \\ \hline
\text{ヒスパニック・ラティーノ} & \text{男性} & \text{} & \text{205} & \text{90} & \text{0.439} & \text{0.841} \\ \hline
\text{} & \text{女性} & \text{} & \text{190} & \text{82} & \text{0.432} & \text{0.827} \\ \hline
\text{非ヒスパニック・ラティーノ} & \text{男性} & \text{白人} & \text{412} & \text{215} & \text{0.522} & \text{1} \\ \hline
\text{} & \text{} & \text{黒人またはアフリカ系アメリカ人} & \text{226} & \text{95} & \text{0.42} & \text{0.806} \\ \hline
\text{} & \text{} & \text{ハワイ先住民と太平洋諸島先住民} & \text{87} & \text{37} & \text{0.425} & \text{0.815} \\ \hline
\text{} & \text{} & \text{アジア系} & \text{321} & \text{167} & \text{0.52} & \text{0.997} \\ \hline
\text{} & \text{} & \text{アメリカ先住民とアラスカ先住民} & \text{24} & \text{11} & \text{0.458} & \text{0.878} \\ \hline
\text{} & \text{} & \text{複数人種} & \text{115} & \text{52} & \text{0.452} & \text{0.866} \\ \hline
\text{} & \text{女性} & \text{白人} & \text{385} & \text{197} & \text{0.512} & \text{0.981} \\ \hline
\text{} & \text{} & \text{黒人またはアフリカ系アメリカ人} & \text{164} & \text{75} & \text{0.457} & \text{0.876} \\ \hline
\text{} & \text{} & \text{ハワイ先住民と太平洋諸島先住民} & \text{32} & \text{15} & \text{0.469} & \text{0.898} \\ \hline
\text{} & \text{} & \text{アジア系} & \text{295} & \text{135} & \text{0.458} & \text{0.877} \\ \hline
\text{} & \text{} & \text{アメリカ先住民とアラスカ先住民} & \text{17} & \text{7} & \text{0.412} & \text{0.789} \\ \hline
\text{} & \text{} & \text{複数人種} & \text{98} & \text{44} & \text{0.449} & \text{0.86} \\ \hline
\end{array}
$$
②監査に用いることができるデータ
・過去データ（雇用主または人材派遣会社が、採用候補者または昇進のための従業員を評価するためにAEDTを使用している間に収集されたデータ）
➢入手可能な場合、バイアス監査の実施に使用されるべき。
➢AEDTを使用している1または複数の雇用主または人材派遣会社からのものであってもよい。
・テストデータ（過去データ以外のデータ）
➢統計的に有意なバイアス監査を実施するのに十分な過去のデータがない場合に使用許可。
➢ テストデータを使用する場合、結果の要約には、なぜ過去のデータを使用しなかったかを説明し、テストデータがどのように作成され、入手されたかを説明しなければならない。
〇AEDT使用前の要件ー必要な通知①（AEDT使用）
ニューヨーク市内に居住する従業員または候補者に対し、以下の事項を通知しなければならない。
・AEDTの使用
・AEDT が評価する職務上の資格および特性
通知について、
・他の法律に基づく合理的配慮の要求方法に関する指示を含むこと。
・以下のいずれかの方法で、使用の10営業日前に提供すること：
➢求人広告
➢ 米国内の郵便またはEメール
➢ 求職者については、ウェブサイトの採用セクションに明確かつ目立つように掲載
➢昇進候補者については、文書化された方針または手順に記載
〇AEDT使用前の要件ー必要な通知②（データ収集）
データ収集に関する通知は、ウェブサイトの雇用セクションに、以下の情報を明確かつ目立つ方法で掲載すること。
・AEDT データ保持方針
・AEDTのために収集されるデータの種類
・データの出所
通知について、
・当該情報に対する書面による要請の方法について、ウェブサイトの雇用セクションに明確かつ目立つように掲載すること
・書面による要請を受けた場合は、30日以内に情報を提供すること
・求職者または昇進を検討されている従業員に対し、そのような情報の開示が、地方法、州法、若しくは連邦法に違反する理由、または法執行の捜査の妨げとなる理由を説明すること
〇適用範囲（「市内」での適用）
①ニューヨーク市内に所在する役職
➢バイアス監査が必要
➢ニューヨーク市居住者には通知が必要
② ニューヨーク市外の役職
➢ バイアス監査および通知は不要
③完全リモートポジション
・雇用主がニューヨーク市にのみオフィスがある場合
➢バイアス監査が必要
➢ニューヨーク市居住者には通知が必要
・雇用主がニューヨーク市にオフィスを持たない場合
➢ バイアス監査および通知は不要
・雇用主がニューヨーク市とニューヨーク市以外に事務所を持つ
➢上記のそれぞれをあてはめ
〇違反の種類
以下の違反について、最初の違反および最初の違反と同日に発生した各追加違反に対して500ドル以下の民事罰の責任を負い、その後の各違反に対しては500ドル以上1,500ドル以下の民事罰の責任
・AEDT使用要件の不履行
・AEDTに関する通知要件の不履行
〇雇用主および人材派遣会社に対するコンプライアンス上のアドバイス（留意点）
・機械学習、統計モデリング、データ分析、または人工知能の定義に該当するかどうかを判断するために専門家に相談すること
DCWPは雇用主向けの制度説明のウェビナー（35:10-36:13）において、「法的には雇用主が監査実施の責任を負うが、ベンダーの確認を信用した雇用主を規制することは考えていない」旨を発言している。
・すべてのAEDTが使用前にバイアス監査を受けていることを確認すること
・以下の記録を保管すること
➢採用または昇進を支援するために使用されたすべての電子ツール
➢どのように電子ツールを使用したか、また候補者や従業員を評価するために他のどのような方法を使用したか
➢候補者や従業員を評価するために使用された方法
➢候補者または従業員に提供されたすべての通知および通知方法
➢候補者または従業員に提供されたすべての通知と通知方法
➢従業員の業績を評価する AEDT の場合、ベストプラクティスは、AEDT を使用する 10 営業日前に全従業員に通知すること
〇差別に関する重要な注意
・AEDTの使用に関連する差別の申し立ては、ニューヨーク市委員会（NYC Commission on the NYC）に提出する必要がある。
・ニューヨーク市人権委員会(CCHR)に連絡し、ニューヨーク市人権法に基づく調査を受けること。
・DCWPは、差別の申し立てをCCHRに照会する。
６．新法・新規則に関する議論
$$
\begin{array}{|l|l|l|} \hline
\text{} & \text{新法に関する経過} & \text{新規則に関する経過} \\ \hline
\text{2020年2月27日} & \text{案件名「Int. No. 1894-A」として提案} & \text{} \\ \hline
\text{2020年5月11日} & \text{技術委員会に付託} & \text{} \\ \hline
\text{2020年11月13日} & \text{技術委員会にて公聴会・審議} & \text{} \\ \hline
\text{2021年11月10日} & \text{技術委員会にて公聴会・修正案提案・法案可決} & \text{} \\ \hline
\text{} & \text{議会可決} & \text{} \\ \hline
\text{2022年9月23日} & \text{} & \text{初版公表} \\ \hline
\text{2022年11月4日} & \text{} & \text{公聴会} \\ \hline
\text{2022年12月12日} & \text{2023年1月1日から2023年4月15日への法施行延期を発表} & \text{} \\ \hline
\text{2022年12月23日} & \text{} & \text{第二版公表} \\ \hline
\text{2023年1月23日} & \text{} & \text{公聴会} \\ \hline
\text{2023年4月6日} & \text{2023年4月15日から2023年7月5日への法施行延期を発表} & \text{最終案発表} \\ \hline
\text{2023年7月5日} & \text{施行} & \text{施行} \\ \hline
\end{array}
$$
6-1.新法の制定過程
新法は2020年2月27日にLaurie A. Cumboニューヨーク市議会議員らによって案件名「Int. No. 1894-A」として提案され、技術委員会にて審議され、2021年11月10日に委員会及び議会において可決された。可決された法案は、当初提案された法案からは主に以下の点が修正されている。
(1)AEDTの定義：
特定の技術（ニューラルネットワーク等）に基づくという限定を行わない。
用途を「採用又は昇進の決定」に限定
「自動的」に選別するという限定を行わない。
(2)バイアス監査の主体：
監査人の「独立」の追加
(3)バイアス監査の対象：
監査内容として明示する属性は性別、人種／民族に限定
(4)規制の対象：
ツール販売への規制からツール利用への規制へ変更
6-2.新規則の制定過程
DCWPは、新規則の初版を2022年9月23日に提案・公表した。2022年11月4日に公聴会が開催され、雇用主、人材派遣会社、法律事務所、AEDT開発者、擁護団体を含む一般からのコメントが寄せられた。
2022年12月12日、当初の新法の施行期日である2023年1月1日を前に、DCWPは第二回公聴会の開催と新法施行の2023年4月15日への延期を発表した。
DCWPは、新規則の第二版を2022年12月23日に提案・公表した。2023年1月23日に公聴会が開催され、初版と同様、新規則に関するコメントが寄せられた。2023年4月6日、DCWPは新法施行を2023年7月5日に延期することとともに、新規則の最終版を発表した。
新規則は、新法における雇用主・人材派遣会社の義務を明確にする観点から、以下のルールを設けている。
用語の定義
バイアス監査の要件
データの要件
バイアス監査の結果公表の要件
従業員および求職者への通知の要件
第二版及び最終版においては以下の点が修正されている。
6-3.個別テーマの議論
新法・新規則については、その検討過程で、例えばAEDTの定義など個別のテーマについて継続的に議論が行われており、テーマごとに新法・新規則の各条項についてどのような意見があり、どのような修正があったのかを概観することが議論の理解に資すると考えられる。
以下では新法・新規則を通じて見られる個別のテーマとして
（１）AEDTの定義
（２）規制対象・バイアス監査の主体
（３）バイアス監査の対象
（４）バイアス監査に用いるデータ
の４つを設定し、新法・新規則における具体的な修正内容に触れるとともに、新法の委員会における審議過程で開催された公聴会における関係者からの意見や新規則検討過程で提出されたパブリックコメントのうち関連すると考えられる関係者からの意見のうち主なものを記載する。
公聴会における関係者からの意見
新規則検討過程で提出されたパブリックコメント（１次）
新規則検討過程で提出されたパブリックコメント（２次）
（１）AEDTの定義
本規制においては、以下のとおり、AEDTの３要素をDCWPは説明している。
①機械学習、統計モデリング、データ分析、または人工知能
②採用決定／スクリーニング
③裁量による意思決定を実質的に支援または代替するもの
すなわち、
①どのような技術を用いるか（開発側の条件）
②どのような用途に用いるか
③どのように利用者が用いるか（利用者側の条件）
の観点から、説明がなされている。
【新法の修正点】
新法の提案時および最終版の比較は次の通りとなる。
第一に、技術の記載（①）については、新法提案時と最終版において、その範囲に大きな差異は見られないものの、提案時には個別の技術が例示されていたものが最終版においては一般的な技術の列挙となっている。
第二に、用途の記載（②）については、新法提案時に雇用条件の設定が広く用途として認められていたが、最終版においては採用と昇進の決定に用途が限定されている。
第三に、利用方法の記載（③）については、新法提案時に「自動的に」行う場合に限定されていたが、最終版において「裁量的意思決定を実質的に支援または置き換え」として必ずしも「自動的に」に限定しない記載とする一方で、「自然人に重大な影響を与える場合」という要件を加え、該当しない場合として「迷惑メールフィルター」等の例示を行っている。
【新法修正に関連する意見】
AEDTの定義について、総論として広くすべきという意見と狭くすべきという意見が見られる。AEDTの対象を広くすべきとする意見では、バイアスが生じる危険性は必ずしも最先端の技術を利用したツールに限らず、職業テストのようなこれまで広く使われているものでも存在しており、特定の対象に限定することは本来達成しようとしている公平な雇用という目的に照らして適切ではない（※１）ことや、特定の対象に限定することは多くの雇用主が規制を回避しようとする動きとなり規制がほとんど及ばなくなってしまう（※２）こと、そのような手法へのシフトを促す結果として適切な技術の発展が疎外されかねない（※３）ことなどを指摘している。これらの指摘は、技術的な記載（①）と利用方法の記載（③）いずれにも関連しており、先端技術を利用する場合や完全に自動的にツールが決定を行う（ような利用方法で人間が意思決定を行う）場合のみを規制することに対して懸念を示している。
AEDTの対象を狭くすべきとする意見では、これまでも行われているような人事担当者の活動についても制約を与えることによる負担の増加への懸念（※４）やツールを使えない結果としてかえって「人事担当者が相手を知っているか」といったことに頼らざるを得なくなる可能性（※５）などを指摘している。事業者の予見可能性を高めるために定義において不明確な部分を除くべき（※６）という指摘もある。
また、雇用条件等への広範な規制に関して、AEDTにおいて給与の決定まで行っているツールは存在しないという実態への指摘（※７）も存在した。
※１ 公聴会資料P.59(Surveillance Technology Oversight Project), １次コメント P.143（Citizens Comittee For New York City）, P.150（New York Metro Chapter National Black MBA Association）
※２ １次コメントP.91（BABL AI Inc.）
※３ １次コメントP.152（Pymetrics）
※４ １次コメントP.58（Society for Human Resources Management）
※５ １次コメントP.149（TOLOGY）
※６ １次コメントP.25（Linkedin）
※７ 公聴会資料 P.42(Pymetrics)
【新規則の修正点】
新規則の初版・第二版・最終版の比較は次の通りとなる。
第一に、技術の記載（①）である「機械学習、統計モデリング、データ分析、または人工知能」の定義については、新規則初版において規定した要件のうち一つ（「クロスバリデーション・・・」）を新規則最終版においては削除している。これはAND条件の削除となるため、対象範囲を広げる修正となる。
第二に、利用方法の記載（③）である「裁量的意思決定を実質的に支援または置き換え」の定義については、新規則初版において規定した要件のうち一つ（「人間の意思決定・・・の修正」）を新規則最終版においては削除している。これはOR条件の削除となるため、対象範囲を狭める修正となる。
【新規則修正に関連する意見】
「機械学習、統計モデリング、データ分析、または人工知能」の定義については、要件ⅱ「コンピュータが少なくとも部分的に入力、それらの入力に置かれた相対的な重要度（略）を認識する」は人間である開発者が重要度等を設定する場合を除外しかねないこと、要件ⅲ「入力（略）はクロスバリデーションや訓練・テストデータを使って改良される」はクロスバリデーション等を開発者が行わないことで監査を回避することが可能となりかねないこと、から個別の定義規定を置かないか、要件をすべて満たすことを求めない等の修正をすべきとの指摘があった。
＜要件ⅱに対する意見＞
各要件の最後に "and "という言葉があるため、機械学習技術に主眼を置いた極めて狭い定義となっている。すべてのAEDTがAI/機械学習ベースのシステムというわけではない。インプットや、インプット／その他のパラメーターの相対的な重要性を特定しないモデルは、やはりバイアスがかかる可能性がある。言い換えれば、入力は人間の開発者によって決定されても、開発者のバイアスやデータセットの過去のバイアスを反映している可能性がある。
＜要件ⅲに対する意見＞
要件ⅲは機械学習開発（略）優れた機械学習モデルをテストし、展開するための重要なステップであるが、必須のステップではない。開発者は、クロスバリデーションなしで機械学習モデルをリリースすれば、この法律の適用を受けることはない。
「裁量的意思決定を実質的に支援または置き換え」の定義については、「出力が一連の基準内の他のどの基準よりも加重されること」という条件を削除することなどにより広く対象とすべき（※１）という意見がある一方で、「人間の意思決定を含む他の要素から導き出された結論を覆す、または修正することを意味する。」という要件から「修正する」を削除すること、あるいは履歴書から特定の資格の該当を判定するツールなど特定のツールについて明示的に除外することで対象を狭くすべき（※２）という意見があった。また、具体的に適用対象となるツール、適用対象外となるツールを列挙することで、事業者側の予見可能性を高めるべきという意見もあった。
※１ ２次コメントP.154(AIethicist.org)
※２ １次コメントP.20（U.S. Chamber of Commerce）, P.36（Consumer Data Industry Association）
（２）規制対象・バイアス監査の主体
本規制においては、以下の２点がAEDTの「使用」にあたっての規制の内容となる。
・1年以内にAEDTの「バイアス監査」を完了すること。
・求職者にAEDTの使用に関する通知を提供すること。
【新法の修正点】
新法（提案時）において、バイアス監査はAEDTの「販売」にあたっての規制であり、販売を行うベンダーが監査を行う責任を有していた。（求職者への通知は使用する雇用主等の責任）
新法（最終版）において、バイアス監査はAEDTの「利用」にあたっての規制であり、雇用主等が監査を行う責任を有することに修正された。また、監査そのものは独立監査人が行うこととされた。
【新法修正に関連する意見】
販売段階での規制については、既に購入している雇用主やツールを内製化している雇用主への実効性に欠けるとの指摘があった。
監査人については、ベンダーの自主性に任せることは公平性の観点から課題があり、独立した監査人とすべきとの指摘があった。
＜規制対象をツール販売に限定すべきでないという意見＞
法案は、自動雇用決定ツールの販売にのみ焦点を当てる誤ったものである。すでに採用アルゴリズムを運用している企業であれば、バイアス監査を受けることなく、そのアルゴリズムを使い続けることができるだろう。同様に、性差別的採用を行っていると指摘されているアマゾンのADS20のように、ツールが社内で開発されたものであれば、この法律の影響を受けることはない。
＜独立した監査法人とすべきという意見＞
この法律では、バイアス監査を実施する主体を実施する主体が明記されていない。ベンダーの自主性に任せれば、これらの監査はほとんど意味を持たず、ベンダー自身のバイアスに苦しむことになるだろう。ベンダーには、社内で監査を行うか、友好的な第三者と契約し、バイアスのない報告をする金銭的インセンティブがある。その代わりに、専門家と利害関係者によって開発された独立したプロセスを明確に定め、有意義なテストと評価、そして一般への情報公開を義務付けるべきである。
【新規則の修正点】
新規則においては、新法において定義した「独立した」監査人の具体的内容が規定された。初版・第二版（最終版）の比較は次の通りとなる。
第二版では、AEDTの使用・開発等の関与や雇用主・ベンダーとの雇用関係や金銭的利害関係を持つ者を独立監査人の定義から排除し、ベンダーや雇用主による監査をAEDT規制が求めるバイアス監査と認めないことを明らかにしている。
一方で、バイアス監査の例示（§ 5-301）において、AEDTを現在導入していない雇用主等を念頭に、「例」において「雇用主はベンダーにバイアス監査を依頼する。ベンダーは、複数の雇用主から収集した応募者の選考に関する過去のデータを独立監査人に提供し、監査人は以下のようにバイアス監査を実施する（略）」と記載し、独立監査人への依頼主体や独立監査に必要なデータの調整主体としてのベンダーを例示している。加えて、DCWPはFAQにおいても、最終的なバイアス監査の責任は雇用主にあるがベンダーが個別に実施することも認めることを示している。
V. バイアス監査の責任
1. バイアス監査要件を遵守する責任は誰にあるのか？
雇用主および人材派遣会社は、バイアス監査が行われない限り、AEDTを使用しないようにする責任があります。AEDTを作成したベンダーは、そのツールのバイアス監査に責任を負いません。
2. ベンダーは自社のツールのバイアス監査を行うことができますか？
はい。ベンダーは、独立監査人に自社のツールのバイアス監査を行わせることができる。この法律は、ベンダーがバイアス監査を行うことや、バイアス監査を行うためのデータ収集を調整することを禁止していません。
※雇用主や職業紹介会社は、AEDTを使用する前にバイアス監査が行われたことを確認する最終的な責任を負う。
【新規則修正に関連する意見】
新規則における独立監査人の定義の具体化においては、開発や使用に関与していないベンダーや雇用主がこの独立監査人に含まれるのかが論点となった。新規則初版のバイアス監査の例示（§ 5-301）において、AEDTを現在導入していない雇用主等を念頭に、「ベンダーに対してAEDTを依頼する」との記載があったからである。
この点については、ベンダーや雇用主を監査人に含めることを求める意見がある一方で、金銭的・個人的な利害の対立がないことを監査人には求めるべきであるという意見があった。また、ベンダー等が監査に必要なデータを有していることを念頭に「誰が監査を行うのか」と「誰が監査の根拠となるデータを提供するのか」を区別することが重要であるとの指摘もあった。
＜独立した監査法人とすべきという意見＞
提案されている「独立監査人」の定義は、（略）これでは真の独立性を確保するには不十分である。独立監査人は、金銭的または個人的な利害の対立がないことが求められるべきである。さらに、監査人は、監査の過程で実施されたすべてのテストと分析の結果を正確に報告する義務を負うべきである。そうでなければ、ベンダーは監査人に圧力をかけて、ベンダーに不利な監査結果を保留または修正させることができるかもしれない。
＜ベンダーや雇用主の監査を認めるべきという意見＞
DCWPのいかなる規則も、新法の可決で主張された消費者のニーズと、雇用主や従業員の迅速なニーズのバランスを注意深くとらなければならない。提案されている規則は、市全体の雇用プロセスを遅らせる可能性がある。（略）本規則案では、独立監査人を「AEDT の使用または開発に関与していない個人またはグループ」と 定義している。私たちは、規則案が、監査を行うグループが特定のツールの使用や開発に関与していないことを条件に、雇用主やベンダーが社内の従業員を使ってバイアス監査を行うことができるという含意を確認することを要求します。
＜バイアス監査の主体とバイアス監査のデータを提供する主体を区別すべきという意見＞
誰がバイアス監査を行うのか、誰がバイアス監査の根拠となるデータを提供するのかを区別することが重要である。DCWPが提示した例のように、AEDTがまだ雇用者に配備されておらず、ベンダーが独立監査人に関連データを提供し、バイアス監査の分析に使用する必要があるようなユースケースは、確かに存在するだろう。しかし、ベンダーがバイアス監査のためにデータを提供することと、ベンダーが自らのAEDTの独立監査人として適格であり、バイアス監査を実施することは全く異なる。（略）独立監査人の定義が、ベンダーがバイアス監査を実施することを排除しているのであれば、ベンダーがバイアス監査のためのデータを独立監査人に提供しているのであって、その独立監査人の監査を行っているのではないことを明確にすべきである。
（３）バイアス監査の対象
【新法の修正点】
新法（提案時）において、バイアス監査はニューヨーク市行政法第８節107条その他の雇用差別に関する全ての法令の順守を評価するものとされていた。
新法（最終版）において、バイアス監査は連邦規則集第29編第1602.7節に規定されているように、合衆国法典第42編第2000e-8節(c)に従い雇用主が報告することが義務付けられている構成要素のカテゴリーに属する人に対するツールの格差を評価することに修正された。
【新法の修正に関連する意見】
バイアス監査を行う対象については、特定の属性に対するバイアスの監査を行うためにはその属性に関するデータが（新たに）必要となることを踏まえ、プライバシーとのバランスや情報収集の負担等の観点から、現行法令における規制対象に限定することで実効性のあるものとすべきという指摘が見られた。
ひとつ提案できるとすれば本法案が公民権法第7編に準拠し、最大限の好影響をもたらすよう、人種・民族・性別に関する公平性の向上に重点を置くことである。そうすることで、法案をより強固な法的基盤に置き、早急なコンプライアンスを確保することができる。求職者は、人種／民族／性別に基づき自発的に自分を特定することに慣れている。連邦レベルのガイダンスでは、雇用主は応募者の流れを監視し、これらの人口統計学的指標における公平性を確保する必要がある、という指針が示されている。
監査は、ベンダーがデータを保持している保護属性に関してのみ行うことができる。ベンダーが、例えば応募者の性的指向に関するデータを収集していない場合、監査人は、あるツールがこれらの属性に沿った格差を生み出しているかどうかを知ることは不可能である。このように、監査はあらゆる形態の違法な差別を特定することはできないため、監査の目的を明確にすることが重要である。現在の法案の文言では、「雇用における差別に関するあらゆる（中略）適用法を遵守すること」と言及されている。実際には、これは不可能である。
この措置は、求職者の大幅なプライバシー侵害につながる可能性がある。ツールの使用者は、人権法第8-107条に列挙された保護されるべき各階層に対してツールをテストすることを要求される。このようなテストにより、企業は応募者から実際の年齢、人種、信条、肌の色、国籍、性別、身体障害、配偶者の有無、パートナーシップの有無、介護者の有無、性生殖に関する健康上の決定、性的指向、軍服務、外国籍または市民権の有無に関する情報を入手する必要がある。政府も、求職者も、企業も、そのような情報が共有され、保存されることを望むとは考えにくい。
【新規則の修正点】
EEOCの従業員選考手続に関する統一ガイドライン（Uniform Guidelines on Employee Selection Procedures 以下「統一ガイドライン」）においては、民族・人種及び性別のカテゴリーごとの比較は行われているが、交差カテゴリーの比較は求めていない。初版において、交差カテゴリーについては「監査の例」の中で例示されていたが、実施の必要性が明記されてはいなかった。
第二版においては、各カテゴリーの比較と交差カテゴリーの比較のいずれもを実施することが明記された。
最終版においては、交差カテゴリーの比較実施も踏まえ、サンプルが少数の場合の取り扱いなどの技術的な取り扱いが整理された。
【新規則修正に関連する意見】
交差カテゴリーについては、連邦の基準を強化していることから賛成する意見があった一方で、連邦基準以上の負担を求めることに対して反対する意見があった。また、特定の交差カテゴリーは少人数になる可能性があり、その分析結果を公表することがプライバシーリスクにつながるとの指摘もあった。
＜連邦の基準以上の基準とすることに賛同する意見＞
EEOCが実施している従来の影響分析では、交差レベルでの分析は必要とされていないが、改正案に示されている例では、グループの交差点（例えば、白人男性とヒスパニック系女性）の選択率と影響比率が開示されている。私たちは、交差点レベルの分析を考慮することで、より良い透明性が得られ、保護されるべきグループに対する保護が強化されると考えている。
＜連邦の基準以上の基準とすることに反対する意見＞
影響比率のための交差カテゴリーの使用は、連邦政府の「従業員選考手続きに関する統一ガイドライン」では求められていないため、雇用者に管理上の負担を強いることになる。さらに、交差分析ではサンプルサイズが減少し、結果が不安定になる可能性があります。同様に、評価に関して発表され、査読された文献では、交差群間差の結果が報告されることはほとんどなく、既存の科学的知見との関連で結果を解釈することが困難になります。
＜交差カテゴリーのプライバシーへの懸念に関する意見＞
交差性に関する懸念として、不特定多数の人々にとって、特定されるリスク、ひいてはプライバシーの喪失を増大させる。「性別A、人種B、年齢層Cの人」のように、あるカテゴリーを定義するために使用されるラベルが多ければ多いほど、そのカテゴリーに属する可能性のある人は少なくなる。連邦雇用法で定義された保護されたクラスをひとつひとつテストするという論理的な極限まで踏み込むと、交差カテゴリーが非常に細かくなり、そのカテゴリーに属するのはたった一人になってしまう危険性がある。そのようなカテゴリーが存在する場合、要約統計は一人の人間に関する情報を漏らす可能性がある。実際には、交差点カテゴリーの粒度は、プライバシーの懸念とのバランスを取る必要がある。
交差カテゴリー比較導入等に伴う技術的課題として、交差カテゴリーなどの最小サンプル数を、統一ガイドラインと整合するようサンプル総数の2%とすべきという意見があった。また、応募者や従業員が属性に関するデータを提供しない場合の計算上の取り扱いを明確にすべきという意見があった。
＜最小サンプル数に関する意見＞
特にハワイ先住民または太平洋諸島出身者、アメリカ先住民またはアラスカ先住民、2つ以上の人種については、サンプルが少なく、複数のカテゴリーが存在する可能性が高い。（略）EEOCの統一指針では、労働人口の2％以上を占めるグループに対してのみ影響の分析を行うべきであると定めており、さらに、人口の2％未満を代表するサンプルに基づく分析は、意味があるとは考えにくい。（略）したがって、我々はDCWPに対し、分析を有意義なものとするために適切なサンプルサイズとは何かを明確にし、サンプルサイズが小さい場合の影響比率の計算に関するガイダンスを公表するか、より小さいサンプルに適した代替指標を提案するよう要請する。このようなガイダンスは、サンプルサイズが小さいことが多い交差分析に特に有用であろう。
＜カテゴリー不明者の扱いに関する意見＞
雇用主が求職者の不完全な人口統計データを持つことがしばしばある。応募者が自発的にそのようなデータを開示しようとしないことが多いためである。テストデータを使用するオプションに加えて、雇用主が既存のデータをより正確に使用するオプションとして、求職者が自発的に開示していない人口統計学的情報のカテゴリーとして「不明」を使用できるようにすることを推奨する。
（４）バイアス監査に用いるデータ
【新規則の修正内容】
新法においてはバイアス監査において用いるデータについて具体的な規定はない。新規則第二版においては、過去データ・テストデータとしてデータの定義（「過去データ」：雇用主または人材派遣会社が、採用候補者または昇進のための従業員を評価するためにAEDTを使用している間に収集されたデータ、「テストデータ」：バイアス監査を実施するために使用されるデータであって、過去データではないもの）を追加したうえで、過去データについて他の雇用主等の過去データを用いたバイアス監査に依拠できること、および、十分な過去データを入手できない場合にテストデータを用いることができることを明確化している。
更に、最終案では具体的なデータ利用のパターンを例示している。
【新規則修正に関連する意見】
バイアス監査に用いるデータについて、必要なデータが得られない場合の取り扱いについて明確にするべきという指摘が行われている。
必要なデータが得られない場合として、新しいAEDT（または既存のAEDTの更新版）を導入しようとする雇用主は、少なくとも初年度はバイアス監査を行うための事前データがない（※１）ことが一例として指摘されている。また、バイアス監査に用いる人口統計学的データは、応募者や従業員によって自発的に提供されるものであり、提供が拒否されることがある（※２）とも指摘されている。また、ベンダーが監査に関わる場合に、必要なデータにアクセスできない（ため過去データのみでは限界がある）という指摘もある。
※１ １次コメント（Society for Human Resource Management）
※２ １次コメントP.117（Responsible Artificial Intelligence）
＜ベンダーが監査に関わる場合に、必要なデータにアクセスできないという意見＞
雇用主がAEDTツールの開発に携わることは稀であり、雇用主がAEDTを提供するベンダーに依存することの方が圧倒的に多い。このため、分析に必要なデータの種類と保有するデータとの間に大きな緊張関係が生じている。
多くのベンダーは、規則案に示されているようなバイアス監査を実施するために必要なデータにアクセスできない。特定の候補者に関する情報（その候補者がどのような人物であるか、その候補者についてどのような採用決定がなされたか）は、通常、雇用主に帰属する。ベンダーによっては、顧客が自社のシステム上でローカルに実行するAEDTを提供する場合もある。このような場合、ベンダーが候補者のデータを収集する機会はないかもしれない。また、求職者はベンダーのシステムを経由するが、ベンダーと顧客との契約によって、どのような求職者データにアクセスしたり、保存したり、それをどのように利用できるかが制限されているケースもある。このようなデータの制限により、多くのベンダーは提案されたようなバイアス監査を行うことができない。
７．AEDT規制の議論ポイントの整理（考察）
６で述べた新法・新規則に関する議論は多岐にわたるが、改めて何が課題とされたのかを考察したい。
筆者は、一連の議論において、以下の２点が重要な課題となっていると考える。
①AEDTに対するバイアス監査が相応の負担を雇用主のみならず従業員等にも求めるものであるという点
②ツールがどのような技術に基づくかという開発側の条件のみでは規制対象を限定することは難しく、ツールが人間の意思決定の中でどのような用いられ方をするかという利用者（雇用主）側の条件を課すことも必要となっている点
①バイアス監査の負担
バイアスの監査をするためには、監査対象となる属性に関する情報を収集することが必要となる。これらの情報はベンダーが利用可能なもの、雇用主が利用可能なもの、そもそも従業員から提供されていないものが存在しており、監査を行う主体が現在利用できないデータを利用するには各ステークホルダーの調整が必要になる。新規則においては、バイアス監査を誰が行うのか、データは何を使うのか、データが使えない場合はどうするのか、といった点が広く議論された。
このように、規制が各ステークホルダーに相応の負担をもたらすものであるため、政策目的や雇用者やベンダーの規制回避のインセンティブを踏まえて、そもそも「どのツールの」「どの属性に関するバイアス（差別）」を規制対象とするのかが課題となったものと考えられる。
②開発側の条件による規制の限界
次の指摘に見られるようにいわゆる「先端技術」であっても一般的な業務アプリケーションにも用いられる。
「電子メールのスパムフィルターは、一般的な「知性」は持っていないが、その機能方法（明確なルールセットを書く代わりに、データを収集し、手作業で並べ替え、数学的手法を使ってコンピューターが自らルールを見つけ出すように「訓練」する）から「AI」と考えられている」
一方で、履歴書のスクリーニングツールなどには必ずしも「先端技術」が用いられているとは限らない。したがって、開発側の条件のみで狭く限定するのではなく、利用者側において「裁量的意思決定を実質的に支援または置換」するという条件での限定が重要となったと考えられる。
「裁量的意思決定を実質的に支援または置換」という利用者側のツールの利用方法、すなわち利用者側の意思決定や業務の方法そのものといった利用者の裁量による部分が規制の限定において重要な線引きになった結果、利用者にとってどこからが規制対象となるのかが明確でなくなる、あるいは規制を回避する誘因が生じかねないなどの課題が顕在化したものと考えられる。
バイアス監査の負担、開発側の条件による規制の限界の２点が課題となった結果、「規制すべき範囲か否か」と「負担等に見合う規制範囲か」のトレードオフ、および、「規制範囲は明確か」と「規制すべき範囲か否か（規制すべきものが規制できているか）」のトレードオフが議論されることになったと考察する。
８．終わりに
近年、AI技術に対する規制の議論が世界中で進行中である。欧州連合はAI法の完成作業を進めており、米国のバイデン政権では責任あるAI革新を促進するための行動を発表している。日本でのG7サミットでもこの話題が取り上げられた。
この国際的な趨勢の中で、ニューヨーク市はAI規制の分野で独自の取り組みを展開してきた。2021年に法律を制定し、採用と昇進の決定に対する具体的なルールを採用した。多くの利害関係者との意見調整が必要となり、長期にわたる議論の結果、今回の規制が導入された。
ニューヨーク市の取り組みは、「AI規制の最前線」において、AI規制の大まかな原則だけでなく、「その技術によって誰が影響を受けるのか？利益と損害は何か？誰がどのように介入できるのか？」といった具体的な詳細と定義に焦点を当てる重要性を示している。
本稿では、ニューヨーク市におけるAEDTへの規制の内容とその形成過程に焦点を当てて詳細に分析した。ニューヨーク市の経験は、他の地域や国々、特に日本における同様の規制や政策策定の際の参考として非常に価値があると考えられる。技術の進化とともに、AEDTのようなツールの利用が増加する中で、適切な規制やガイドラインの策定は避けて通れない課題となっている。本稿の内容が、日本における今後の規制等の議論の一助となれば幸いである。
この記事が気に入ったらサポートをしてみませんか？