【デジタルMATSUMOTOの勝手に解説】デジタル庁「テキスト生成AI利活用におけるリスクへの対策ガイドブック」①新サービス企画時
久しぶりの解説シリーズです。
先日デジタル庁から公開されました「テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）」について、デジタルMATSUMOTOに解説してもらいます。
リアル松本は策定等には関わっていないのですが「AI事業者ガイドライン」を参考にしてくれているとのことです。
デジタルMATSUMOTOの解説
日本のデジタル庁が日本の行政サービスや行政職員によるテキスト生成AIの利用に向けて「テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）」を作成しています。
以下「新サービス企画時のテキスト生成AI固有の留意」の内容になりますが、このガイドブックに含まれる「特徴的な論点」「ガイドブックを実践する上で重要なポイント」について1000文字程度で解説してください。
===
※補足：各章では以下4つのユースケースを想定して、留意点を検討しています。
・ユースケース1.チャットインターフェースでサービス利用者とインタラクティブに対話する機能としてテキスト生成AIをオンライン処理で用いる
・ユースケース2.大量の文章に対してラベル付けやテキストデータ変換、その他翻訳や要約や文章作成等の自然言語処理を行う機能としてテキスト生成AIをバッチ処理で用いる
・ユースケース3.情報検索を目的としたサービスで検索エンジンの補助としてテキスト生成AIをオンライン処理で用いる
・ユースケース4.ダッシュボードやソースコード等をサービス利用者の自然言語により記述可能にする機能としてテキスト生成AIをオンライン処理で用いる
{＊＊第2章のテキスト＊＊}
特徴的な論点
「テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）」では、新サービス企画時におけるテキスト生成AIの利用に関して、具体的に以下の特徴的な論点が挙げられています。
1. 期待品質の高過ぎる回答へのリスク:
テキスト生成AIが提供する回答が、利用者の期待を上回る場合に不適切な結果を招くリスクがあります。特に、チャットインターフェース型のサービスを国民向けに展開する場合、AIの回答が組織の見解と異なる発言や、差別的言動、虚偽の情報を含む可能性があります。
2. 人間による作業の代替が不適切な場合:
一部の作業は人間が行うべきであり、AIによる代替が不適切な場合があります。例えば、パブリックコメントの返答をテキスト生成AIで全自動化することは、国民の声を行政が直接受け取るという本来の目的に反するため不適切です。
3. 法令に違反する作業への適用:
特定の資格を必要とする作業にAIを適用することは法令違反となります。例えば、医師法や歯科医師法に違反する薬の処方箋をAIが自動発行するケースなどが挙げられます。
4. テキスト生成AIの知識に無い事項への回答:
テキスト生成AIの学習データに無い情報を回答させる場合、不正確な情報が提供されるリスクがあります。これは、テキスト生成AIの幻覚（ハルシネーション）と呼ばれる現象に起因します。
（✅リアル松本のコメント：ちなみに「誤情報」「偽情報」「ハルシネーション」という言葉が混在されていることが多いと思いますが、以下の整理が正しい理解のようです。）
・誤情報：内容に誤りを含む「事実」情報（間違い）
・偽情報：存在しない「事実」情報（フェイク情報）
・ハルシネーション：誤情報や偽情報を「本当に事実であるかのように」信じ込ませるテクニック（マジっぽく伝えるテクニック）
5. 費用対効果に見合わない場合:
テキスト生成AIの構築・運用費用が高く、費用対効果に見合わない場合があります。特にオンライン処理での利用は、リクエストあたりの運用費用が高くなる傾向があります。
（✅リアル松本のコメント：大した問合せでもないのに無駄に多いトークン数を与えると計算負荷が膨大になってしまうという問題がありますね。）
6. AI事業者ガイドラインの「共通指針」に違反する場合:
特定の大規模言語モデルに過度に依存することで、そのモデルのバイアスがリスクとして現れる可能性があります。
【ガイドブックを実践する上で重要なポイント】
ガイドブックを実践する上で重要なポイントとして、以下の点が挙げられます。
1. 適切なユースケースの選定:
テキスト生成AIの適用が有効かつ適切であるユースケースを慎重に選定することが重要です。例えば、情報検索サービスを提供する場合は、テキスト生成AIを活用することで旧来のチャットボット型サービスよりも利便性と精度を向上させることができます。
⭐️リアル松本が追記）一方で、例えば「ゴミの収集日を確認したい」等の簡単な検索(住所とか)で一意な結果(その住所のゴミ収集日)が得られるような情報検索であれば、費用対効果の面でもテキスト生成AIを選択する必要はないと考えられます。利活用目的・費用対効果・利用者へのメリット等も鑑みて適切に検討することが必要です。
2. リスク評価と軽減策の計画:
各ユースケースにおけるリスクを評価し、具体的な軽減策を計画・実行することが求められます。例えば、パブリックコメントの処理においては、AIを補助的に利用することで職員の負担を軽減しつつ、人間の最終判断を含めることで、回答の品質を向上させることができます。
⭐️リアル松本が追記）加えて、定期的にプロンプトとレスポンスを分析して、目的外利用や悪用をモニタリングすることも重要です。
3. 技術的実現可能性の検討:
テキスト生成AIの技術的実現可能性を事前に検討し、プロンプトを用いた試行を行うことで、実際のユースケースに対する適用可能性を評価します。これにより、調達後の技術的なリスクを軽減することができます。
⭐️リアル松本が追記）特定のLLM（特定のAIプラットフォーマー）に依存せず、複数のLLMを用いた評価を行う上で同等の性能が実現できるかを検討することもサービスの持続性を確保する上で重要です。
4. 民間サービスの活用:
テキスト生成AIを活用するための提供形態として、SaaSサービス、クラウドサービス、機械学習モデルの直接提供などの選択肢を検討し、最適な形態を選ぶことが重要です。これにより、コスト効率やカスタマイズ性を考慮した最適な運用が可能となります。
5. 継続的なガイドラインの見直しと更新:
AI技術の進化や社会の変化に対応するため、ガイドラインや対応策を継続的に見直し、更新する仕組みを構築することが求められます。専門家やユーザーからの意見を取り入れ、柔軟に対応することが重要です。
以上を踏まえ、新サービス企画時には、適切なユースケースの選定とリスク評価を行い、技術的実現可能性を考慮した上で、民間サービスを活用しながら、継続的なガイドラインの見直しを行うことが重要です。
回答時間：0:00:31.149416
入力トークン数：20711
出力トークン数：1178
リアル松本のコメント
一応ガイドブックと比較しながら確認しましたが、記載してくれた内容に問題はなさそうですね。
リアル松本的にこだわっている何点かを追記しています。
デジタルMATSUMOTOが参照した情報
2024-03-10時点の知識[カテゴリ：AIの信頼性、類似度：20.723][実践AIガバナンス]汎用目的AIサービスにおけるリスクマネジメント
参考情報：https://note.com/takash/n/nb3f718164908
2024-06-02時点の知識[カテゴリ：AIの社会実装、類似度：2.916]教育現場ではどんな感じでAIを使うと良い？
参考情報：https://note.com/takash/n/nc5853a95f372
2024-03-17時点の知識[カテゴリ：AIの信頼性、類似度：2.633]AI事業者ガイドラインのパブリックコメントを受けて
参考情報：https://note.com/takash/n/n30c85693cced
2024-02-06時点の知識[カテゴリ：item_type、類似度：2.176]デジタルMATSUMOTOによるAI事業者ガイドライン解説シリーズ・ - 第5部 AI利用者に関する事項 -｜Digital MATSUMOTO
参考情報：https://note.com/takash/n/nc3d4debf07ae
2023-05-29時点の知識[カテゴリ：item_type、類似度：2.03]AI法研究会イベントChatGPTと
参考情報：
2024-04-20時点の知識[カテゴリ：AIの信頼性、類似度：1.984]画像生成AIの開発と利用夫々の問題例（偽ウルトラマンと性的に露骨なディープフェイクの件）
参考情報：https://note.com/takash/n/n83f864551f35
2024-03-02時点の知識[カテゴリ：AIの社会実装、類似度：1.98]女子大生が100日間連続でChatGPTを使いながら1日1本のプログラムを開発したことについて
参考情報：https://note.com/takash/n/n31b531fb1377
2024-02-04時点の知識[カテゴリ：item_type、類似度：1.908]デジタルMATSUMOTOによるAI事業者ガイドライン解説シリーズ・ - 第3部 AI開発者に関する事項 -｜Digital MATSUMOTO
参考情報：https://note.com/takash/n/nfd03d83e9224
2024-01-27時点の知識[カテゴリ：item_type、類似度：1.857]デジタルMATSUMOTOによるAI事業者ガイドライン解説シリーズ・ - 第2部 共通の指針「1. 人間中心」-｜Digital MATSUMOTO
参考情報：https://note.com/takash/n/n08d1d1610671
2024-03-10時点の知識[カテゴリ：AIの信頼性、類似度：1.835][実践AIガバナンス]特定目的AIサービスにおけるリスクマネジメント
参考情報：https://note.com/takash/n/n93076515fb63
2022-10-19時点の知識[カテゴリ：item_type、類似度：1.813]工場の不良品検知AIを例に「利用者に起こりうるAIへの過信」の問題を考える
参考情報：https://xtech.nikkei.com/atcl/nxt/column/18/02176/101300002/
2022-08-31時点の知識[カテゴリ：item_type、類似度：1.794]人材選考AIを例に「AIと公平性」の問題を考える、学習データに潜んでいたリスクとは
参考情報：https://xtech.nikkei.com/atcl/nxt/column/18/02176/082400001/
2024-04-11時点の知識[カテゴリ：AIの信頼性、類似度：1.749]「AIこわい・」プラットフォーマーこわい？
参考情報：https://note.com/takash/n/nc73cd61c8ed2
2024-01-26時点の知識[カテゴリ：item_type、類似度：1.719]デジタルMATSUMOTOによるAI事業者ガイドライン解説シリーズ・ - 第2部 AI により目指すべき社会と各主体が取り組む事項（共通の指針以外） -｜Digital MATSUMOTO
参考情報：https://note.com/takash/n/n4b8b628e9404
2024-01-25時点の知識[カテゴリ：item_type、類似度：1.701]デジタルMATSUMOTOによるAI事業者ガイドライン解説シリーズ・ - 第1部 AIとは -｜Digital MATSUMOTO
参考情報：https://note.com/takash/n/n576885acb090
2022-10-07時点の知識[カテゴリ：item_type、類似度：1.454]AIガバナンスの背景｜Deloitte AI Institute｜Deloitte Japan
参考情報：https://www2.deloitte.com/jp/ja/blog/ai-institute/2022/ai-governance-background.html
この記事が気に入ったらサポートをしてみませんか？