10 AIの回答に根拠をもたせてみた

前回は、Webページの画面属性をChatGPTに判定させるために、APIを使ってあれこれ試してみた。今度は、AIが出した結果を人間の作業画面にどう反映させるかを考えながら、回答文のフォーマットを考えていく。

まずは、指定された画面属性（例. パスワード欄）を持つかどうかで、○か×かという判定結果が必要だ。もしこの判定が完璧にできるのならば、そのまま作業画面に反映させ、人間の作業が要らなくなるという考えも出てくるだろう。

しかし、AIはあくまでアシスタントだ。今の段階ではハルシネーションに代表されるように精度の足りないところがあるし、結果の責任を取ってくれるわけではない。

そこで、判定結果とあわせて判定根拠も提示してもらうことにした。AIが○や×と判断した理由が書かれていれば、作業員はその説明の正しさを見て最終的な判断を下すことができる。

一方で、判定は画面ごと・属性ごとに実施されるところ、その結果や根拠の文面をすべて読んでいくのはなかなかに辛い。意味のある提案だけを確認するようにしたい。

そこで、判定に対する自信の度合いを信頼度として示してもらうことにした。信頼度の低い結果は無視してしまうようにすれば、必要最低限の提案にだけ目を通せるようになる。

プロンプトをこまごま整形していって、ChatGPTからこのような回答が返ってくるようになった。

パスワード欄：o (100%) レスポンス内のテキスト情報に、「メールアドレス ：メールアドレスをコンピューターに記憶させる パスワード ：※パスワードを忘れた方はこちらからパスワードの再発行を行ってください。※メールアドレスを忘れた方は、お手数ですが、お問い合わせページからお問い合わせください」という文言があり、パスワード欄が存在することがわかります。

次は、この仕組みを自動化して、作業画面への反映を自動化していこうと考えている。そのためには、プログラムで応答を処理できるよう、フォーマットをさらに検討していく必要がある。

道のりは険しいけど、一歩ずつ着実に進んでいきたい。