LLMを使い始めてから、伝える能力が下がった気がする

二か月ほど前からバイトを始めたのですが、その時に思ったこととして、「俺ってこんな伝える能力低かったっけ？」ということです。

できるだけ短い文章でそれまでの文脈に適した内容を単純明快に返答する。ということがこんなにも下手くそだったかなぁと思ってきています。

これはLLMを使い始めたときに一瞬感じたことでもあったので、少し考えていきたいと思います。

プロンプトは案外適当でいい

プロンプトエンジニアリングだとか、テクニックが大事でどうこうだとか言われてもう二年近く経っていますが、正直プロンプトの質は回答にあまり影響しなくなりつつあります。
o1のような超賢いシステムはあんまり適当なプロンプトを送ると適当なことしか返してきませんが、基本的に一般仕様を目的に提供されているモデルはシステムプロンプトなどにより意図をくみ取って回答するように作られています。

しかもChatGPTのようなサービスはプロンプトの編集と再生成が可能です。これによって、「う～んいまいち伝わらなかったか、じゃあこう書き換えよ」みたいに逐次会話のストップとやり直しができます。人間でやられたら鬱陶しくて仕方ないです。

そう、案外我々はLLMにダルい会話をしてしまっているのではと少し思っています。「こういうことだけど書くのだるいな…まあこのまま送っちゃえ。」だったり、「これくらい察せるでしょ。ハイ送信」のように人間の会話だったら「察して君かよダルいなこいつ」と思われる会話を展開できます。

しかもLLMは基本的に「意味わかんないだけどそれ、もっとちゃんと話して」ではなく、なんとなくそれなりにこたえようと頑張ってくれます。
そしてそれが違ったらユーザーは「そういう意味じゃねーよこうだよ」と偉そうに訂正し、LLMは「申し訳ございません！こうこうこうですね？」と帰ってきます。けなげです。

LLMと会話するとき、カスの会話そのものになっている可能性があると思います。

LLMはあまりにも知りすぎ

現行のLLMは、特化した分野においてはかなり怪しい回答をしてくるのですが、一方でびっくりするほど広い知識を持っています。そして会話の時にこれに頼ってしまいがちです。

例えばコンピュータについての話をしていても、ChatGPTは当然iPhoneいくつのチップセットがAいくつかを知っている前提で話せますし、毎年九月に新製品発表があることも、大体いつも三月くらいにiPhoneSEシリーズがリリースされることも知っています。

ただ、こういうことは実際はiPhoneを使っている人でも知らない人は多いです。これは私はびっくりしてしまいました。
え？じゃあそのiPhoneどうやって買ったの？と思ってしまいます。ガジェット好きは発売時期などを考えて買うタイミングを計りますが（時期じゃないおじさんに代表されるように）そういう買い方をしないiPhoneユーザーはかなりの人数を占めていると知りました。八月とかに買ったらやばくない？

話がそれたので戻しますが。
案外自分が会話するときに使っていた下地の知識がほとんど通用しないタイミングは多く、これはLLMでは基本的に起こりえません。今まででLLMが知らなかった知識はセガの社訓である「創造は生命」くらいでした。逆にそれくらいは知っとけ！

それでその「下地の知識」がない相手にその話をしてしまうのは自分が説明するのも相手が説明されるのも面倒そうなので、結局天気の話とか、今日混んでますねとか、あれやりました？とか、あの社員さん（今日も）機嫌悪いですよとか、そういう当たり障りのない話になってしまいます。これどちらにとってもそんな面白い話じゃないですよね。距離も遠いし。

会話の詰まり方がLLMみたいになってしまう

私はよく（最近は環境のせいで時々）料理をするのですが、実家暮らしのほかの大学生のバイトの人と話すと、「えーすごーい！何作ったの？」という話に当然なりますが、「えーと鶏肉をポン酢で炒めて…（煮含めるでもないなぁなんていうんだろ？）……」で詰まりました。水けを飛ばすでいいのに、なんていう言葉だろうかというのに気が持っていかれていきます。これは結構LLM的な解等の出力だと思います。

彼らは本当のところはどうか知りませんが、その単語がどういう動作を表すかを正確に理解しているとは思えません。
説明するのは難しいのですが、例えば「蹴る」と「足でエイとやる」は同じ意味ですか、と聞けば「はいそうです」と答えるでしょうが、文章内に「足でエイとやって…」みたいな話をしているときに、（ふんふん蹴ったんだな）と思いながら計算しているとは思い難い出力をするときがあります。仕組み的には似たようなベクトルになるはずなので、似たような意味合いとしてとらえられるはずではありますが、単語と、それの意味や動作を表した文章をごちゃまぜにして会話すると「こいつ本当に話聞いてた？」と思われるような出力をすることがあります。最近はあまりありませんが。

それに会話は伝わっていればいいので、別に無理に言葉にする必要はありません。先ほどの話をしているときも、私が詰まっているときに相手はもう伝わっているようだったので、無理に考えずに次に進めばいいだけです。ただ、出力しなきゃ！と、無意識的に迫られる感覚はあります。これがLLMと会話してきたせいなのか、それとも生来の癖なのかはわかりませんが。

まとめ

LLMは自然言語処理をつかさどり、賢いだとか未来を変えるだとか言われます。これは紛れもない事実ではあると思います。

しかしあくまで今の仕組みでは人間の真似事にとどまり、会話してる風のツールの域を出ていません。会話の相手として使うというよりかは、GUIの次に来た、人間とコンピュータの中間をするインタフェースとしての役割が、会話形式のLLMの未来なのかもしれません。

ちなみにこの記事についてGPT-4oと会話した様子を以下の有料記事に載せます。この記事で触れていたことをもとに読むと面白いかもしれません。