R2 AU PM2-1 AI技術を利用したシステムの企画・開発に関する監査について

1.AI技術を利用する目的と、開発するAIシステムの概要について

1.AI技術を利用する目的
　Z社は、自社開発のネットワーク機器を販売し、設置から運用、インシデント対応までを一括で行う通信事業者である。Z社のインシデント対応はZ社技術部が実施する。Z社技術部は、多様化・高度化するインシデント対応を実施する作業員（以下、対応者という）のスキルや技術の向上が課題であった。
　Z社では、DXの推進による競争優位を経営戦略の一つとして捉え、これに合わせ、DXの利活用を自社の業務での積極的な取り入れる試みを進めている。そこで、Z社技術部は課題解決のために、インシデント対応にAIを利用することとなった。具体的には、多様化・高度化するインシデント対応を、教育や情報共有といった対応者のスキルアップを中心として対応する従来のやり方に加え、大量のデータの中から一定の規則・特徴を見つけ出し、予測判断する機会が幾週によるAIのサポート（以下、AIサポートという）を加える試みである。
2.開発するAIシステムの概要
　AIサポートは、対応者が所属するZ社技術部技術課がユーザー部門、Z社開発部システム開発課が開発部門となって開発が進められる。
　AIサポートは、対応者がインシデント対応時にAIサポートを利活用し、インシデント対応に役立たせることを目的としている。具体的には、対応者がインシデント対応の際に、AIサポートシステムにキーワードを入力し、AIサポートは過去の類似したインシデントや関連する情報を回答するテキストベースのチャットボットである。
　AIサポートシステムでは、
管理課技術部が学習させる情報を選定し、システム開発課がAIサポートシステム用の学習用プログラムに入力をし、学習をさせる。
750-1450

2.AIサポートの利用段階において想定されるリスク

1.AIサポートのリスク・アプローチについて
　Z社は、Z社が進めるDXの推進において、AIサポートを重要な位置づけとなる。このため、Z社では、現在企画・開発段階にあるAIサポートシステムについて各段階での検討の適切性やリスク・マネジメントの適切性の確認が必要との見解が経営陣から示された。特に、利用段階において想定されるリスクは、Z社技術部の業務における影響が非常に大きいため、十分なコントロールの有効性を確認する必要がある。私は、Z社監査室のシステム監査人の立場で、AIサポートシステムの監査を実施することになった。
2.AIサポートの利用段階において想定されるリスクについて
　私は、AIサポートシステムにおける利用段階のシステム監査を実施する場合、リスクを漏れなく抽出する場合、AI技術そのものに対する特性・特質と、AI技術を利活用する人に分けて検討する必要があると考えた。
　私が検討した、利用段階において想定されるリスクは以下のとおりである。なお、利用段階における主管部門は、技術部技術課となるため、リスクの検討はユーザーを対象として検討した。
（1）AIの特性・特質に関わるリスクについて
　AIサポートシステムでは収集データの不足・偏りによって、学習済みモデルによる予測・判断結果の解釈が難しかったり、精度が低くインシデント対応に十分に役立てないリスクがある。また、AIサポートの回答について、見直しや改善のプロセスがない場合、利用可能な回答の陳腐化のリスクや修正が図られないリスクがある。
（2）AIを利活用する人に関わるリスクについて
　AIサポートシステムでは、対応者のインシデント対応の補佐を目的としているため、導入の目的が明確でない場合、及び対応者に周知徹底が図られていない場合に目的に沿わず、結果として効率性を損なうリスクがある。また対応者にAIシステム対するしかるべき教育がない場合、AIサポートシステムの回答の真偽を判断することなく回答をし、インシデント対応のサービス品質を損なうリスクがある。
　以上のリスクに対応して、企画・開発段階において実施すべき監査手続を設定した。
1615-2315

3.リスクを踏まえた監査手続について

1.AIサポートの企画・開発段階において実施すべき監査手続について
　設問イで述べたリスクを踏まえた監査手続を以下に述べる。
（１）AIの特性・特質に関するリスクについて
　収集データに関わるリスクについては、AIサポートシステムで利用するインシデント対応に関する情報の質と量が共に十分であることが必要である。このコントロールに関しては、インシデント対応の業務に習熟し、かつ権限のある者の参加及び意見の採用が十分であるかを確認する必要がある。また、AIサポートで活用する情報が、その採用する条件や範囲が明確かを確認する必要がある。
　見直しや改善のプロセスのリスクについては、企画・開発段階での運用時におけるPDCAサイクルが組み込まれているかを確認する。具体的には、AIサポートの回答についての評価が定量的かつ定期的に図られる計画があるかを確認する。
　監査手続としては、Z社技術部のAIサポートに関わるチームの編成が、インシデント対応に習熟し、かつ権限のあるものが参画しているかを組織図を査閲、及びチームメンバにインタビューを実施し、AIサポートに関して十分な有効な知見を有していることを示す監査証拠を得るを設定した。
　見直しや改善のプロセスに関する監査手続は、企画書を査閲し、運用段階におけるPDCAサイクルが組み込まれいる計画されていることを示す監査証拠を得るを設定した。
（2）AIを利活用する人に関すリスクについて
　導入の目的の明確さに関するリスクは、企画段階のAIサポートの導入目的が明確になっている、及び導入目的が対応者に周知できるような試みが計画されているかを確認する必要がある。
　対応者の教育に関するリスクは、AIに関する対応者への教育の計画があるかを確認する。ただし、企画段階のものであるため、教育の内容そのものではなく、時期や計画の有無である点に留意する。
　監査手続としては、企画書を査閲し、導入の目的が明確であるか、また、議事録を閲覧し導入目的が対応者に周知する試みが検討されていることを示す監査証拠を得るを設定した。
　対応者の教育に関しては、企画書を閲覧し、対応者への教育が計画されていることを示す監査証拠を得るを設定した。