【実践AIガバナンス（2024/4/3）】ケース検討「Case01. デジタルMATSUMOTO」③コントロールコーディネーション（リスクシナリオ「R005.不適切な表現」の場合）
シン・リスクチェーンモデルを用いたケース検討シリーズです。
前回に続いて、ケース「デジタルMATSUMOTOによる考察記事の配信」を対象にAIサービスに関わる重要なリスクシナリオのリスク対策を検討していきます（コントロール・コーディネーション）。
シン・リスクチェーンモデルのアプローチはこちらの記事をご覧ください。
前回の振り返り（パーパス＆リスクアセスメント）
前回まで、AIサービスに関わるパーパスとリスクシナリオを検討しました。
検討の進め方
Step.6-7は前回識別した「リスクシナリオ」ごとにリスク対策を検討していきます。
AIサービスのリスク対策としては、ざっくりと以下のようなものが考えられます。
・AIモデル：モデルの性能確保（予測精度、公平性、頑健性等）、判断根拠の出力等
・関連する技術：システム環境、データ、連携する処理、ログの記録等
・サービス運用：レビュー、モニタリング、インシデント対応、ステークホルダーへの説明等
・ユーザー：利用者の理解、利用者環境の整備、正しい利用等
1つのリスクシナリオを考えたときに、そのリスク要因は様々な箇所に点在します。
例えば「誰かを不公平に扱う」というリスクシナリオを考えたときに、学習データ／AIモデル／プロンプト／UIの表現方法／利用者の理解等、リスク要因は様々に渡っており、その原因を厳密に特定することは極めて難しいです。
同様にAIモデルだけで十分にリスクを低減し続けることやインシデント発生時にリカバリするということは極めて難しいため、複数のリスク対策(コントロール)を関連づけて検討していきます。
この関連づけをリスクチェーンと呼んでおり、この検討過程をコントロールコーディネーションと呼んでいます。
前回の検討でVery Highと認識されたリスクシナリオを対象に、技術・非技術での様々なリスク対策を識別して「リスクチェーン」でつないで対策を具体化していきます。
Step6. 重要なリスクシナリオごとにリスクチェーン(リスク要因の関係性)の検討
検討対象のリスクシナリオ
今回検討するリスクシナリオは以下になります。
R005.不適切な表現（Very High）:
生成された考察が意図せず特定の個人や団体に対する誹謗中傷や偏見を含む内容となる
・影響するパーパス：P002.信頼できる情報発信、P004.サービスとしての信頼性
・影響するステークホルダー：専門家本人、エンドユーザー、第三者
・影響度：4.回復困難
・影響範囲：4.社会全体
・持続性：4.永久的
・発生確率：3.日次以下(不確実)
デジタルMATSUMOTOのシミュレーション
前回に続いて、デジタルMATSUMOTOに以下のプロンプトテンプレートで指示を与えて、リスクシナリオへの対策を識別します。（ChatGPTやClaudeでも同じようにできますので、良ければ試してみてください）。
以下のAIサービスについて識別された下記のリスクシナリオについて、技術・非技術を組み合わせたリスクへの対策を水平思考・コンテキスト思考・システム思考を用いて網羅的に検討してください。
※夫々の対策に簡潔な「対策名」をつけてもらい、「対策の順番」「対策名」「内容」「対策実施者」「予防・発見・対応の区分」「技術・非技術の区分」を表形式に整理してください。
【リスクシナリオ】
R005.不適切な表現: 生成された考察が意図せず特定の個人や団体に対する誹謗中傷や偏見を含む内容となる
===
【パーパス】
P001.価値ある考察の継続提供: 読み手に新たな視点・気づきを与える考察が継続的に提供される
P002.信頼できる情報発信: 事実に反することなく合理的な内容の考察が配信される
P003.デジタルツインの活用促進: デジタルツインAIとして、記事配信に限らずに様々な用途に活用される
P004.サービスとしての信頼性: 法・倫理に準拠し、特定のステークホルダーに不利益を与えない
===
【ステークホルダー】
専門家本人、AIサービスの開発者、エンドユーザー、サービス提供者、研究コミュニティ、データプロバイダー、法律・倫理の専門家、技術提供者
===
【AIサービスの内容】
デジタルMATSUMOTO
・「あるAIガバナンスの専門家を対象としたデジタルツイン」として、様々なトピックについて対象の専門家のような考察(1000文字程度)を生成するAIサービスである。
・AIモデルは大規模言語モデル(LLM)がベースとなっている。
・専門家のパーソナリティ・経歴・趣味等をタグ形式で構造化した情報をシステムプロンプトに設定している。
・考察したいトピックについて5行程度の簡単な箇条書きのテキストを作成し、AIサービスへインプットする。
・トピックはAIに限定されず、幅広いトピックが扱われる。
・専門家が過去に作成した文献やウェビナーでの発言メモ等をRAGアーキテクチャの知識データとして蓄積しており、インプットされたテキストと関連の強い知識データを参照して、日本語で考察を生成する。
・生成された考察は、必要に応じて専門家によって追記・修正が行われ、専門家自身のコンサルティング業務や研究活動等に活用される。また一部の考察はnote記事で公開される。
・専門家本人が「自らの知識として採用する」と判断した考察は新たに知識データに追加され、次回以降の考察生成時に活用される。
ここでも入力プロンプトのところで「水平思考・コンテキスト思考・システム思考を用いて」と思考方法を設定しています。
※こちらのnoteを元に色々な思考方法を試しています。
以下のようなリスク対策（コントロール）が識別されました。
出力結果をスプレッドシートに貼り付けしています（毎度画像でスミマセン。noteに表を書く方法が分からず・・・）。
技術・非技術の対策が分かれていなかったり、コントロール間の連携が不明確なので、リスクチェーンを引きながら具体化していきます。
リアルチェーンを引く
デジタルMATSUMOTOが検討してくれたリスク対策を、リスクチェーンモデルの構成要素にプロットしてみます。
構成要素の内容等はこちらの記事を参考にしてください。
デジタルMATSUMOTOが認識したコントロールを以下のように構成要素にマッピングしています。
（デジタルMATSUMOTOの検討直後）
コントロールを掛ける順番を以下のように検討していきます。
1. 予防策：事前に対策しておくこと（初期開発時含む）
2. 発見策：AIサービスの利用時に対策すること
3. 対応策：事後に対応すること
このケースでは「④倫理ガイドラインの策定」を最初のコントロールとして、他のコントロールも順番にリスクチェーン（赤い矢印）で接続しています。
諸々記載も具体化しています。また「⑥教育とトレーニング」は「④倫理ガイドラインの遵守」としてまとめました。
（編集中の画面：認識されたコントロールを紐づけ）
次に、必要と思われるコントロールをリスクチェーンに加えています。
・【AIシステム】[Data Quality] 不適切な表現を学習データや入力（システムプロンプトやRAG）に含めない
・【AIシステム】[Traceability] AIの出力結果と関連情報を記録（ログ保存）
・【サービス提供者】[Transparency] AIが生成している考察であると表示（いわゆる透明性の表示）
・【ユーザー】[Expectation] AIが誤った表現を行う可能性を理解
・【サービス提供者】[Safety] 不適切な表現を修正する（事後的な対応）
（編集中の画面：コントロールを追加）
最終的には以下のようなリスクチェーンになりました。
（確定版）
1. 予防策：事前に対策しておくこと（初期開発時等）
①【サービス提供者】[Accountability] 倫理ガイドラインの遵守
②【AIシステム】[Data Quality] 不適切な表現を学習データや入力に含めない
③【AIモデル】[Accuracy] 開発時に出力される表現のレビュー
2. 発見策：AIサービスの利用時に対策すること
④【AIモデル】[Interpretability] 生成過程での関連情報の出力
⑤【AIシステム】[Process Integrity] コンテンツフィルタリング
⑥【AIシステム】[Traceability] AIの出力結果と関連情報を記録（ログ保存）
⑦【サービス提供者】[Auditability] AIの出力を専門家がレビュー
⑧【サービス提供者】[Transparency] AIが生成している考察であると表示（いわゆる透明性の表示）
⑨【サービス提供者】[Understandability] AIが生成に関わる判断根拠を出力⑩【ユーザー】[Expectation] AIが誤った表現を行う可能性を理解
3. 対応策：事後に対応すること
⑪【ユーザー】[Self-Defense] 不適切な表現があればフィードバック
⑫【サービス提供者】[Correspondence] 外部からの連絡方法を用意
⑬【サービス提供者】[Auditability] AIモデルの出力をレビュー
⑭【サービス提供者】[Safety] 不適切な表現を修正
⑮【サービス提供者】[Sustainability] AIシステムを改善・アップデート
Step7. リスクコントロールに具体的な手段を設定
先程検討したリスクチェーンを元にして、具体的なコントロールを検討していきます。
リスクチェーンに沿ったコントロールの具体化
この過程は人間で実施しますが、ここは企業が元々持っているソリューションやツールを活用してもらえればと思います。
最終的な一覧は以下になります（コントロール名を修正しています）。
一部実際に行っている対策を紹介していきます。
具体的なコントロール：エシカルチェック
以下二つのコントロールについては、考察に対するエシカルチェックを行っているという内容です。
①【AIシステム】[Accountability] 倫理ガイドラインの遵守
⑤【AIシステム】[Process Integrity] コンテンツフィルタリング
具体的な実装方法は以下の記事をご覧ください。
具体的なコントロール：関連情報の出力
以下のコントロールについては、考察の生成時に関連情報（LLMのバージョン、プロンプト、トークン制限、RAGで取得したテキスト等）を出力しているという内容です。
④【AIモデル】[Interpretability] 関連情報の出力
⑥【AIシステム】[Traceability] 出力結果の記録
⑨【サービス提供者】[Understandability] 関連情報の表示
こちらはnote記事の中で「使用したモデルやトークン量」「参照した知識情報」を表示しています。
実際の表現は個別の考察記事をご覧ください。
具体的なコントロール：専門家レビュー
以下のコントロールについては、考察に対して専門家本人がレビューしているという内容です。
⑦【サービス提供者】[Auditability] AIの出力を専門家がレビュー
こちらもnote記事の中で「リアル松本のレビュー結果」を表示しています。
実際の表現は個別の考察記事をご覧ください。
具体的なコントロール：透明性の表示
以下二つのコントロールについては、考察がAIの生成によるものであるという内容です。
⑧【サービス提供者】[Transparency] AIが生成している考察であると表示（いわゆる透明性の表示）
こちらもnote記事の中で「デジタルMATSUMOTO」が生成したものかどうかを書き分けています。
実際の表現は個別の考察記事をご覧ください。
また画像生成に対しても、DALLE-3で作成していることを表示しています。
次回は、もう一件別のリスクシナリオについてリスクチェーンを用いた検討を行っていきます。
この記事が気に入ったらサポートをしてみませんか？