【極秘】日本語下手なLlamaの性能を向上させる正体不明のプロンプト

同じく日本語下手なKey君です。
三日前に強力なLLMモデルであるLlama3.1 405Bが公開されたんです。すごいでしょう？ でも、ちょっと待って。日本語が非対応だって？ SNSでも日本語の性能が英語より相当悪いって言われてるし...。
うーん、困ったな〜。でも、そこで立ち止まっちゃいけません。今日は、この問題に立ち向かう新しい方法を見つけたので、皆さんと共有したいと思います！

なぜ日本語対応とは何だ？

まず、「日本語対応」って何なのか、ちょっと整理してみましょう。

• 日本語のデータを学習しているので、日本語を出力することはできる

• でも、ファインチューニングしていないから、日本語の出力が「最適化されていない」

• つまり、ネイティブのように日本語で物事を考えることができない

なんだか、外国人が一生懸命日本語で考えて、話そうとしているような感じですね。頑張ってるけど、ちょっと違和感がある...そんな感じです。

そこで考案したプロンプトは

ここで、私が考えた新しいアプローチを紹介します。その名も...
「エセ日本人プロンプト」
なんだか怪しげな名前ですが（笑）、これがすごいんです！
このプロンプトは、AIに日本語プロンプトを英語として理解させ、そこから出力を英語に翻訳するというものです。ちょっと複雑に聞こえるかもしれませんが、簡単に言えば「AIに英語で考えてもらって、それを日本語に訳してもらう」という感じです。
具体的には、こんな感じのプロンプトを使います：

Please thinking by following STEPS:
STEP1. Understand the prompt as English
STEP2. Thinking prompt in English
STEP3. Translate output into Japanese
Waiting for the prompt.

これって、まるで通訳さんを介して会話しているみたいですよね。
ポイントは「母語で考える」ことです。

性能前後比較

さて、この「エセ日本人プロンプト」を使って、実際にどんな違いが出るのか見てみましょう。

アイデア考案

まず、アイデアを考えてもらいました。

純正はテーマがバラバラになっちゃった💦

エセはなかなか面白いアイデア

• 純正日本人モード：そもそもプロンプトの意味すら理解できない...

• エセ日本人モード：なかなか刺激的なアイデアを出してくれた！

英語で考えると、学習している英語のデータをうまく引っ張り出せるみたいです。Llama3.1さん、ポテンシャルありますね！

キャラクター作成

次に、キャラクター作成もやってみました。

省エネ状態になっちゃった

西洋系美少女

• 純正日本人モード：やる気が感じられない...

• エセ日本人モード：頑張って考えてくれた！

ただ、「フランス系アメリカ人」という設定がちょっとバイアスを感じますが（笑）。でも、これはこれで面白いかも？

このプロンプトの難点は

もちろん、応急措置に過ぎません。いくつか難点があります：

• 出力の文字数が減る（でも、元々日本語出力も少ないので、そんなに変わらない）

• 余計なAPI料金がかかる

終わりに

今回の体験を通じて、「言語による性能差」というAIの公平性のリスクを感じました。
それでも、こういった工夫で少しずつ改善できるのは希望が持てますよね。早くLlama3.1に正式な日本語対応が来ることを願いつつ、それまでこの「エセ日本人」という考え方をもう少し掘り下げたいと思います！

#生成AI
#AIとやってみた
#Claude
#ChatGPT
#Gemini
#プロンプト
#プロンプトエンジニアリング
#AI創作
#AIライティング
#Llama3
#Llama
#Llama3 .1