ChatGPT法律相談の落とし穴

はじめに

　弁護士ドットコムがChatGPTを使った法律相談を始める予定だそうです。「夫に浮気された場合の慰謝料の相場はいくらですか？」と文章で質問すると、法律相談を学習したAIが「およそ●●円です」などと回答してくれるようですね。

プロフェッショナル・テックを推進する「弁護士ドットコム」が 「Professional Tech Lab」と「Professional Tech Fund」を創設〜ChatGPT に代表される新技術の積極的活用を目指す〜 - 弁護士ドットコム株式会社

　一見非常に便利そうですが、次の３つの理由から、皆さんの悩みが真剣であればあるほど、また正確な情報を必要としていればいるほど、このサービスは役に立たないと私は考えています。また、弁護士ドットコムがAIをリリースした主たる目的も単なる集客であり、おそらくは学術的な観点から高精度なAIを作ろうとはしていないでしょう。その理由をこれから簡単にご説明します。

１　学習元のデータは法的に必ずしも厳密なものではない
２　回答の正確さを判断するためには、法的な知識が必要である
３　回答内容を実現するためには、法的な知識が必要である

AI法律相談のいくつかの問題点

１　学習元のデータは法的に必ずしも厳密なものではない

　　弁護士ドットコムは過去120万件の法律相談を学習させたようです。ですが、法律相談は専門外の方に法律のことを解説するものです。そのため、法律相談はその性質上、論文や専門書と違ってわかりやすさを重視して厳密さをある程度犠牲にしたものにならざるを得ません。ネット上の情報を学習する場合も、ネット上の様々な法律の記事は同じ理由で厳密性を欠く場合が多く、話は同じです。　
　　必ずしも厳密でないデータを学習したAIは、厳密なデータを学習したAIと比べて正確な結論を出せないのではないか。これがここでの問題です。ただし、これは弁護士ドットコムがこのAIをなんのためにつくったのかを考える上では役に立ちますが、次の二つの問題と比べると重要でも決定的でもありません。

２　回答の正確さを判断するためには、法的な知識が必要である

　　ChaGPTは「それっぽい」文章を生成するAIで、回答も玉石混交です。たとえば、次の文章は法的には明らかな誤りです。ですが、ほとんどの方にとっては、この文章が間違っていると見破れといわれても酷ではないでしょうか。
　　AIの答えが玉なのか、それともただの石ころなのかは、玉と石の区別がつく人にしかわかりません。重要な決断をする上で、正しいかどうか自分で判断できない情報を盲信するのは危険です。その判断をできる人は、AIからはヒントを得るぐらいにとどめ、より専門的で信頼のできる文献等にあたるべきです。

AIによる明らかに誤った回答の例。ただし、これは意地悪な質問です。

３　回答内容を実現するためには、法的な知識が必要である

　　貸金の返還を求める訴えを裁判所に起こせばいいという結論になったとして、具体的に何をすればいいのでしょうか。AIの学習データが法律相談であれば、よほど単純で定型的な事例でなければこの問いに答えられないはずです。
　　AIがそうしたことまで教えてくれたとしても、AIの答えを信じられるかという２の問題に戻ります。そしてこの問題、つまり、ある具体的な法律問題についてなすべきことを判断するのは、抽象的な法律問題について判断するよりもはるかに難しいでしょう。ある法的な権利を現実の世界で実現するための技術は、弁護士も司法試験に受かってから何年もかけて身につけるようなものです。

まとめ

　以上を前提とすれば、少なくとも今の時点では、①AI法律相談は弁護士に依頼するかわりになりえるものではありません。②弁護士に依頼するか迷っている方は、いずれ弁護士のセカンド(?)オピニオンを受けてそちらの指示に従うべきですので、あってもなくても同じです。弁護士に相談する前の予習としてネットで検索していたかわりには使えますので、ないよりはましかもしれません。③弁護士に依頼するつもりはなく、間違っていてもいいので無料で答えだけ知りたい方にはとても役に立つはずです。たとえば「信号無視は法律違反ですか」のような何らかの具体的な問題を前提としない疑問は、どんどんAIを使ってください。

　言い換えると、AIは確かな答えが必要な場面では役に立ちません。皆さんの悩みが真剣で、また正確な情報を必要とすればするほど、AIではなく弁護士への相談を考えるべきです。そうではない問題は、気軽にAIを使い倒すべきでしょう。

なんのためのAIなのか？

　上記の一つ目の理由から、弁護士ドットコムにとっても、AI法律相談をリリースする主目的は、高精度なAIを提供することではないと推測されます。もしそうであれば、裁判に使われた書面を学ばせるのは守秘義務の関係等で不可能でしょうが、少なくとも判例や専門書を学んだものでなければ到底不十分です。

　おそらく、弁護士ドットコムの目的は、AIを使って正しい情報を提供するというよりは、ほどほどの精度のAIを使って利用者を集め、豊富な利用者をアピールして課金する弁護士を増やしたいというところにあるのではないでしょうか。企業ゆえ当然のことではありますが、法律に特化した高精度のAIを作ることではなく客寄せのツールを作る目的でしかないと考えれば、上記の点も理解できます。

　もしそうだとすると、AIの精度は高くなくてよく、法律の専門家でない人に失望されない程度で足ります。場合によっては、法律相談に特化した学習していない素のChatGPTでも十分な性能かもしれません。弁護士ドットコムが法律相談を学習させたのも、法律相談に特化する目的自体は否定されませんが、その方がマーケティング上の都合がよく、また弁護士ドットコム上での法律相談がローコストで利用できる学習データだったからと考えるのがより自然でしょう。AI法律相談を打ち出すならこの点は誠実にやってほしかったというのが私の本音です。

今後の展望

　弁護士ドットコムのAI法律相談は、一般の方が期待するほどは使い物にならないでしょう。ですが、AIはこれまでなんども過度な期待をされ、その度に幻滅されてきました。AI法律相談も期待と幻滅の一つの例に過ぎません。

　他方、少し皮肉な話ですが、AI法律相談は皆さんではなく弁護士にとって非常に役に立つと考えています。AIは皆さんに確実な答えを示すことはできませんが、弁護士が必要な相談と必要ない相談を振り分けるには便利でしょう。専門外の調べものなど仕事の効率化に役立つ部分もたくさんあるはずです。こうした幻滅の後に残った一粒の砂金に、私は心から期待しています。