対話型AIの（現時点での）実力と影響
甲斐 亮之
株式会社ギャプライズ 代表取締役
士業適正広告推進協議会 理事
みなさん、2022年11月に公開された対話型AI「ChatGPT」はご存知でしょうか？
ChatGPTは実際の人間を相手にしているような会話文を生成できます。
単純な会話や知りたいことを教えてくれるだけではなく、選択肢を提示してくれたり、課題や注意点を教えてくれたり、アドバイスもくれたりします。
専門家による回答だと感じられるような、自然な文章で生成できることがChatGPTの大きな特長だと思います。
例１のように、ChatGPTが学習しているのは2021年末までの情報なので（2023年2月時点）、回答が最新のデータではない可能性があります。
また、例３のように、明らかに誤った回答も、それっぽく回答されたりしますので、人の目によるファクトチェックは必要です。
イーロン・マスク氏が共同創業者の1人で、リリース後2ヶ月ほどで全世界ユーザーが1億人を突破というニュースや、Microsoftが1兆円を超える投資を実行する予定というニュースも、話題に拍車をかけており、下記のような刺激的な記事も数多く発表されています。
Googleのコーディング職の試験を受けるとレベル3エンジニア（年収 約2420万円）として採用される
https://www.cnbc.com/2023/01/31/google-testing-chatgpt-like-chatbot-apprentice-bard-with-employees.html
WordPressプラグインを要求したら数日かかる作業を5分で完了させた
https://www.zdnet.com/article/i-asked-chatgpt-to-write-a-wordpress-plugin-i-needed-it-did-it-in-less-than-5-minutes/
それでは、法律業界における精度はどの程度なのでしょうか。
米国司法試験を受けるとどうなるかを検証した研究報告があり、それを受けた記事がこちらです。
50.3％の平均正解率を達成し、ベースライン（ランダム予測）の推測率25％を大幅に上回り、証拠法（Evidence）と不法行為法（Torts）の2科目で平均合格率を超えた。第2候補と第3候補の回答率もチェックした。その結果、それぞれ平均71％と88％の正解率となった。
https://www.itmedia.co.jp/news/articles/2301/18/news055.html
現時点では合格ラインを超える精度ではないようです。
その他、様々な記事を乱読しましたが、司法試験以外での各種試験では合格当落線を行き来しつつも、あり得ない間違いも目立ち、優秀な学生とは言えないレベルのようです。あくまでも現時点ではありますが。
さて、日本の法律における精度も気になりますよね。
弁護士ドットコム社が興味深い実験結果を発表してくれました。
ChatGPTは日本の司法試験に合格できるか 弁護士ドットコムが実験
正答率は30％。合格最低ラインと言われる55％をはるかに下回り、足切りラインと言われる40％にも到達しない残念な結果となりました。
https://www.bengo4.com/c_18/n_15648/
詳細は上記記事をご覧いただきたいのですが、判例データ公開が進み学習データが増えることで、正答率が上がっていくのは間違いないかと思います。
その弁護士ドットコム社は、chatGPTを使った無料法律相談サービスを開始予定とのことです。回答の正確性に対しての疑義は残るものの、学習データが蓄積され、回答結果の精度が上がっていくことで、法律家をはじめとした、人間とAIとの関係性が変わっていく未来は遠い将来の話ではないと感じています。
「ChatGPT」で法律相談 弁護士ドットコム、今春開始へ
https://news.yahoo.co.jp/articles/a21acc32c0b39b1473d96a42cc62ac13028b86e4
余談ですが、米国では「ChatGPT」APIをベースにして、法律特化型AI弁護士を作り、法廷で弁論させようとしている企業DoNotPayも話題です。
彼らの夢を実現させるにはまだまだ越えるべき壁が多いようですが、一石を投じていることも事実ではあります。ご興味がある方は、ぜひ調べてみてください。
この記事が気に入ったらサポートをしてみませんか？