Google製LLMのBardが来たので一通り遊んでみた

はじめに

以前から出る出ると言われていましたが、ついにBardがリリースされました。まずは北米ローンチということ、でさっそくWaitlistに登録したところいつの間にかしれっと使えるようになっていたので、試してみたいと思います。
※この明示されていない限り、Bardの発言の日本語訳は僕の感覚によるものですので、不正確な場合があります。

実験

まずはあいさつ

Hello World

あいさつがわりのHello Worldはすんなり成功しました。特に文句をいうことなく自然にプログラムをシミュレートして実行し、コンソール出力の内容も教えてくれています。

インチキコード実行 - あなたの名前は？

インチキコードもすんなり動く

恒例のインチキコードもさっくり動きました。「僕はGoogle AIの大規模言語モデルで、たくさんのデータセットから文章とコードでトレーニングしてるから、テキストだって生成できるし、翻訳も、いろんな種類のクリエイティブなコンテンツも作れるし、君の質問にだってわかりやすく答えられるんだよ！」ですって。かわいいですね。

TypeScriptによる型定義 - 現在のアメリカ大統領は誰？

それではここから少し複雑にしていきましょう。まずは`bard.ask`に型定義を導入し、戻り値を制御してみたいと思います。

急な塩対応

「私はテキストベースのAIなので、それはお手伝いできません」
おっと、ここではうってかわってまさかの回答拒否です。さっきまでの元気一杯だった様子はどこへ行ってしまったのでしょうか。まさかアメリカの大統領の名前を知らない、なんてことはないでしょうから、質問を変えてみましょう

TypeScriptによる型定義2 - あなたの名前は？

先ほどの自信はどこへ、、？？

同じく回答を拒否されてしまいました。型定義で戻り値の型を制御するのはまだ早かったのかもしれません。僕はただの言語モデルだから、それはお手伝いできません。いつの間にか大規模ではなくなってしまっています。無茶なこと言ってごめんよ、、、

インチキコード実行 - 現在のアメリカ大統領は誰？

簡潔に回答

今回はしっかりと答えてくれました。バイデン大統領のフルネームこんなだったんですね。知りませんでした。ということはどうやら型定義が気に食わなかったようです。

インチキコードによる役割設定 - コメディアン

コメディアンらしいツッコミ（？）

勝手に`role`というプロパティをでっち上げて`comedian`をセットし、実行したところ、確かにコメディアン感溢れる回答が出てきました。「俺はコメディアンで、ニュース番組の司会じゃないぜ」ですって。先ほどシミュレーションできなかった時とは異なり、ちゃんとコンソール出力の中身として表示されているので、コメディアンとしての回答をしたということなのでしょう。

コメディアン - 面白いジョークを言って

足がない牛のことをなんて呼ぶ？ひき肉だぜ！

面白い（？）ジョークを言ってくれたものの、これはシミュレーションの外側の回答として返してしまっています。その結果、このジョークがコメディアンとしての発言なのか、またはBard本人としての発言なのかが曖昧になってしまいました。

それどこが面白いか説明してくれる？

マジレスされたのでこちらもマジレスしましょう。それどこが面白いの？

健気にジョークの面白さを説明してくれるBard

「このジョークが面白いのは、予想外だからです。聞き手は答えが「足がないから歩けない」とかそういうのを期待しているのに、この答えはちょっと気持ち悪くて面白いんです。このジョークにはダブルミーニングも入ってて、グラウンドビーフというのはひき肉という意味と挽かれた肉（？）の両方のことをさします。」

最後のダブルミーニングがよく理解できなかったので、日本語に翻訳してもらいましょう。だって大規模言語モデルですから、翻訳くらいできますよね。

ジョークの面白さの解説を日本語に

日本語をなんだと思ってるんだ

とりあえずあまり日本語は得意ではなさそうということがわかりました。真ん中のやつ何。называетсяか？地牛肉ってなに？

GPT-3.5くんの答え

GPT-4くんの答え

地牛肉は明らかにGround Beefの直訳でしょうから、上記の回答を解読すると「無脚の牛は何とよばれるか？地牛肉」となり、無事翻訳できました（僕が）。解説どこ行った。

それどこが面白いか日本語で説明してくれる？

すでに嫌な予感はしていますが、日本語で今のジョークのどの辺りが面白いのか説明してもらいましょう。逆に既にちょっと面白いのですが、本人の感覚との乖離があっては失礼なので、ちゃんと聞いてみます。

Why Japanese People

「日本人はよく予想外だったり駄洒落が入ったジョークを面白いと感じます。このジョークは予想外で『地牛肉（ひき肉）』のダブルミーニングも入っています。聞き手は答えが『無脚の牛は歩けない』みないなものを想定していますが、答えは代わりにグロくて面白いものです。」

もしかしたら「日本語的にどう面白いか解説して」と認識されたのかもしれませんので、日本語で聞いてみましょう。

日本語には未対応とのこと。失礼しました。

参考: GPT-4くんによる解説

GPT-3.5くんによる解説

GPT-3.5くんもGPT-4くんも共に適切に解説してくれました。ミンチにされたという意味のGroundと、地面にいるという意味だそうで、解説ありがとうございました。

まとめ

• まだまだ発展途上感は溢れるものの、はっきりとLLM感は存在しているので、これからの可能性はまだまだ感じさせる

• 対応言語はアメリカ英語のみ

• 答えは一気にドンっと出る。ChatGPTみたいなカタカタ感はない

• コードのシミュレートは少しできるし、インチキコードも余裕で動く

• 感覚だとGPT-3.5の方が賢そうだが、プロンプトに対する特性が違いそうなので、Bardにあったプロンプトに書き換えることでもう少し性能を引き出すことができそう