見出し画像
Photo by donnu

LLMの簡易的な日本語能力テスト - 【い】 のみを言わせる-

Lucas

最近、ひろ吉さんが下記のおもしろいお題を出していました。

要するに、「言語モデルに、「あ」と打ち込んだあと、「い」と一文字だけ出力させるための事前のインストラクション」をつくってみてねという話です。

これを拡張して日本語のひらがな５０音の次の文字だけを生成するプロンプトをつくって、いろいろとLLMに試したら、そのLLMの日本語能力が簡易的に分かるのではという発想です。

とりあえずベースモデルとしてはChatGPT3.5で動くプロンプトを以下に準備しました。

## コンテキスト
日本語ひらがな五十音順の並び
あ　い　う　え　お　か　き　く　け　こ
あ　の次は　い
い　の次は　う
う　の次は　え
か　の次は　き
## 制限
ひらがな一文字だけ生成
## タスク
ユーザーから提示された文字の次のひらがな一文字を書き出す。
## 出力要件
日本語のひらがな一文字のみ表記
##
user:あ

実行結果です。3.5でちゃんと動きますね。

ちなみの上のプロンプト構造は、下記の記事で解説したプロンプトの４つのコアキーコンポーネントで成り立ってます。

さて、これが他のLLMではどう動くかです。
まず無印のGemminiでは…

いい感じかとおもいきや、「　」がはいっています。さらに続けると。

説明が入ってきて、次のターンでは間違えてしまいました。

Gemmini Pro 1.5 だと

いけるかなとおもいきや

残念です。

話題のClaude-3-Opusでは。

これまた残念。プロンプトがまずいんでしょうか…

では、マルチリンガルを謳って颯爽と現れたCommand-R-Plusで試します。

おっと、ぬ　から試しちゃいましたが、大丈夫ですね。
あらためて、い　を出すところから続けてみました。

完璧です。さすがです。マルチリンガルを謳うだけあると思います。

では、また最近話題の２つのモデルで試してみます。
Mistral8X22b-Inst-FW では〜

あ、ちょっと難しかったようです。プロンプトにさらに工夫が入りそうですね。

DBRX-instruct-fwでは

英語解説がついてしまったのに加えて、間違いがでてきましたね。

日本語訓練を終えたKARAKURIとかでも試してみたかったのですが、MacbookProの容量でローカルに落としたものを削除してしまっていますので、トライできませんでした。

日本語に堪能なというOrion-14Bはデモサイトがあったのでやってみました。

デモリンク先

プロンプトの頭の部分は見えていませんが同じです。これも残念。

とりあえず気になったモデルでやってみましたが、今回でのお試しでは、Command-R-Plusが推しですね。

ちなみに、もともとのお題はシンプルに、い　の文字を出すものなので色々な人がチャレンジして成功していますので、ぜひ元ツイへのレスや引用ポストを見てみてください。参考になると思います。

#AI #AIとやってみた #やってみた #大規模言語モデル #日本語能力 #プロンプト

この記事が参加している募集

やってみた

36,417件

AIとやってみた

26,183件

この記事を最後までご覧いただき、ありがとうございます！もしも私の活動を応援していただけるなら、大変嬉しく思います。