R2 AU PM 2-1 AI技術を利用したシステムの企画・開発について

1.AI技術を利用する目的と、開発を検討しているAIシステムの概要について

1.1AI技術を開発する目的について
　Z社は、自社開発のネットワーク機器やITサービスを販売する通信事業者である。Z社は、自社の商材に関するインシデント対応やサービス要求（以下、サービス対応という）をZ社技術部にて実施している。
　Z社のサービス対応は、年々拡大し、業務に従事する従業員も増加をしている。増加する従業員の社員教育、新人のサービス対応の品質の劣化はZ社技術部の課題としてあった。
　そこで、Z社ではAI技術、特にチャットボットを利用したサービス対応の技術が未熟な者のサポート（以下、AIサポートという）を計画した。AIサポートにより、新人のサービス対応の品質のばらつきを抑え、社員教育の改善が見込まれた。
1.2開発を検討しているAIシステムの概要
　AIサポートの開発は、Z社技術部が中心となり実行される。
　AIシステムは、パブリッククラウドサービスを利用し、自社で開発することも可能であった。しかし、Z社のAIシステムの開発経験がないこと、及びZ社ではAIサポートをモデルとして順次AIシステムへ代替可能なものを移行を計画していたため、ノウハウの豊富なベンダへ委託し、Z社におけるAIシステム開発の基礎を作る予定である。
　AIシステムを委託するベンダA社は、チャットボットを専門に開発するベンダである。Z社が収集データであるサポート対応のモデルを提供し、A社が保有する学習プログラムに入力し、成果物として学習済みモデルを生成し、これをAIサポートとして利用する。
　私は、Z社内部監査室に所属するシステム監査人として、Z社技術部が主管部門である企画・開発段階にあるAIシステムの想定されるリスクへの対応の適切性を監査を実施する者である。

2.企画・開発段階にあるAIシステムの利用段階において想定されるリスクについて

2.1AIシステムについてのリスクについて
　Z社では、AIサポートを利活用し、Z社技術部の課題の対応を計画している。さらに、Z社では、このAIサポートの利活用からAIシステムの利活用の基礎を形成する戦略を採用している。このため、AIサポートの成果はZ社の経営戦略上、重要な位置を占めると言える。ただし、AIサポートの開発に関しては、A社へ委託するため、その監査にあたっては、企画・開発段階における利用段階へ向けたリスクへのコントロールを点検する必要がある。
2.2利用段階において想定されるリスクについて
　私が検討した、利用段階において想定されるリスクは以下の通りである。
①収集するサポート対応のモデルの不足・偏りから起こる学習済みモデルがサポート対応に不十分になるリスク
　AIシステムは、その特徴として入力と出力の相関関係の困難さが挙げられる。十分に検討された学習用データでも、出力の予測が困難であるため、A社に提出する収集データの精査の度合いが高い、あるいは偏差の少ない状態であるための仕組みが存在しない場合、このリスクが顕在する可能性が高い。
②提出するサポート対応のデータから企業秘密や、個人情報といった守秘義務のある情報が漏洩するリスク
　提出するサポート対応についてのルールやチェックが厳密ではない場合に、本来守秘が必要な情報を提出してしまうリスクが存在する。特に、Z社ではAIの利活用がまだ開始段階であることから、上記のリスクが顕在化する可能性が高い。
③導入目的の曖昧さから、期待される効果が得られないリスク
　導入目的が明確ではない場合、その利活用に支障を来すリスクが存在する。また、導入目的が、例えば計測可能な状態にするなど、導入後に期待される効果を測定できない場合、改善ができないリスクが存在する。
　以上が、私が検討した利用段階において想定されるリスクである。

3.AIシステムの企画・開発段階において実施すべき監査手続について

3.1企画・開発段階において実施すべき監査手続について
　私は設問イで述べた各リスクへのコントロールを、企画・開発段階において確認すべきと考えた。この考えに基づき、実施すべき監査手続を検討した。なお、予備調査において必要と考えられる資料は確認済である。
3.2具体的な監査手続について
①収集するサポート対応の不足・偏りから引き起こされるリスクについて
　収集するサポート対応のモデルについて、必要十分と考えられる提供のために、AIシステム及びサポート対応について十分な知見を持つ者が収集データの提供について参画していることを確認する。監査手続として、AIシステムについての会議議事録を閲覧し、十分な知見を有しているかを確認するという監査手続を設定した。
　また、社内ではなく外部、具体的には十分な知見を有している蓋然性の高いA社に確認するなど、必要に応じて情報を収集することを検討しているかZ社技術部のAIシステムの企画に携わる要員にインタビューを実施し、収集データについてのコントロールが存在するかを確認する。
②情報漏洩に関するリスクについて
　情報漏洩に関するリスクは、提出するサポート対応についての基準やチェック体制についての検討が存在するかを確認する。監査手続として、企画書の査閲と、Z社技術部の要員にインタビューを実施し、情報漏洩に関するリスクを認識し、その対応が想定されていることを示す監査証拠を得る、を設定した。また、提供する情報が、必要に応じてマスク処理を実施するなど提供をする際のコントロールの有無も確認する。
③導入の目的に関するリスクについて
　導入目的が明確であり、かつ測定が可能かを確認する。監査手続として、企画書を査閲し、AIサポートについての導入目的の明確性、及び導入目的達成の度合いを示す算出方法を検討していることを示す監査証拠を得る、を設定した。
　以上が、AIシステムの企画・開発段階において利用段階のリスク対応の有効性を確認するために実施すべき具体的な監査手続である。