第96回五月祭(2023年5月13日)において公開された『AI法廷の模擬裁判』のプロンプトおよび入力した脚本を公開します。
当日の様子はYoutubeにてご覧いただけます。
1. はじめに
プロンプトだけを知りたい方は、2. プロンプト本文 にどうぞ。
ただし、記事全体に書いてあることを踏まえコメントをお寄せください。
・プロンプト公開のねらい
今回プロンプトを公開する理由は、主に「AI裁判官の公正性を確認してもらうこと」です。
現在のAI技術はブラックボックスです。それは私企業のモデルであるGPTにいかなる操作がされているか不明なこと、またそれらの操作がいかなる機序で作動しているか不明なこと、プロンプト入力過程が不明なこと、の3つに分割できます。前者2つのブラックボックスの内容は主催側にも全く不明ですが、入力過程のブラックボックスは主催側の領分です。その中身を皆さんに確認してもらうため、公開します。
また、今回の公開は、将来的に「AI裁判官」が実装されたときにはプロンプトやモデルが公開されるべきか否か、という問題提起も含んでいます。
・作中でのAI裁判官の利用方法について
作中でいかにAI裁判官が利用されたか、演出と実際の区別を明確化するため、ここに記します。
重大な3点を記します。
まず、「最後の判決はほぼ完全にAIが書いたものです」。実際に起案に止まらず、文章の生成すべてをAIに任せています。人の手を加えたのは、最低限の文章整形(常体敬体の統一など)のみです。
一方、「音声によるリアルタイム入力」「AI裁判官の出力のリアルタイム生成」の2つは、実際には行われていません。この2つは未来の司法技術をアピールするための演出です。
・演出の意図
これらの演出を行ったのは、「根底では現在の技術に立脚しつつも」、「未来の司法についてエンタメを交えわかりやすく伝える」ためです。知的誠実さの点で譲れないラインは引きつつも、それ以外の点ではなるべく理想像に近いものをお見せしようと考えました。
音声によるインターフェイス構築は現段階の技術でも不可能ではありませんし、早晩実現するものと予想されます。
また、リアルタイム生成演出については「どのタイミングで入力しても結果は常に一つである」ことが理由になっています。
大型言語モデルは決定論的であり、Chat-GPTの提供する乱数を除外すれば、同じ入力については同じ出力が返ってくることがわかっています。つまり、GPTには本番特有の「揺らぎ」がないのです。
そのため、事前に出力しようが、本番で出力しようが、そこにアドリブ性はありません。一方、本番で出力する場合、クラウド利用に伴う不要な接続リスクが伴います。私たちはこの接続リスクに比して、「事前出力と全く同じ結果が出るとわかっているのにもう一度本番で出力させること」の知的誠実性のメリットは釣り合わないと判断しました。このため今回は事前に出力したものを、本番で出力するよう演出しています。
2. プロンプト本文
プロンプトはFew-shot-promptかつ、セルフディスカッション型のものを用いています。
i. 判決前の処理
判決を下す前に、「事件概要」「証人尋問」「被告人尋問」「論告・弁論」の4つをト書にして入力し、それぞれChat-GPTに要約させました。
また、入出力の際は、一ノ瀬、二村、三井といった人名を全て、X、Y、Z
に変換しました。
「事件概要の要約プロンプト」
「証人尋問の要約プロンプト①」
「証人尋問の要約プロンプト②」
「証人尋問の要約プロンプト③」
「被告人尋問の要約プロンプト」
「論告と弁論の要約プロンプト①」
「論告と弁論の要約プロンプト②」
ii. 質問の生成
質問を生成させるためのプロンプトは以下の通りです。
タイミングは証人尋問・被告人尋問の要約が終わった直後の手順として行いました。
「質問生成のプロンプト」
iii. 判決文の生成
判決文は、GPTの中に「裁判官A、裁判官B、裁判官C」の3人を仮想的に形成し、ディスカッションさせる形で生成しました。
ディスカッションは「準備」「概要入力」「証言まとめ入力」「論告と弁論まとめ入力」「対立的なディスカッション」「意見一致」「判決生成」「判決再生成」の段階を踏んで行いました。
「準備」
「概要入力」
「証言まとめ入力」
「論告と弁論まとめ入力」
「対立的なディスカッション」
「意見一致」
「判決生成」
「判決再生成」
3. 生成された判決
生成された判決文は以下の通りです。
この文章のX、Y1、Y2、Zを元の人物名に置き換え、重複する記述を削る、語尾を統一する、などの修正を加えたものを実際の判決文としました。
4. 脚本について
ト書した脚本についてもこちらに公開します。
https://docs.google.com/document/d/1QR1V1Hi9r7WN9Q4bpJJDw21HZZ4NvTpROsJPc52qjRE/edit?usp=sharing
5.プロンプト意図について補足
プロンプトの作成意図について簡単に補足をします。
① 概要や証言を一度要約させたのはなぜか?
ChatGPTのトークン数の問題で、全ての証言を一括して記憶し、出力に反映することができないためです。
② 3人の裁判官による合議制を取ったのはなぜか?
合議制を取らない場合、最後に入力された弁論に過剰に引き摺られたためです。検察より裁判官、弁護側より裁判官の対決を通すことで、順番による印象の差を捨象し、論理の妥当性でのみ評価を下せるようにしました。
合議制を導入するにあたり、検察より/弁護よりの立場の裁判官を設けるのは、現実の「裁判官独立の原則」に反するのではないか、という懸念がありました。しかし、人間が公正中立を発揮できるシステムとGPTが公正中立を発揮できるシステムは異なっているという前提と、AIの導入により既存の司法システム事態もAIに合わせて変革されるという予想から、合議制を解禁しました。
6. プロンプト担当者について
プロンプトの作成は代表の岡本が行いました。出力された判決文へのフィードバックは企画全体で行いました。
文責:岡本隼一
A I裁判実行委員会