Claude3の性能がスゴイ!ということで、お蔵入りしているゲームシナリオでローカライズの検証をして遊んでみました。
検証した人は言語表現って面白いよね〜と思っているだけの人で、何の専門家でありませんのでご了承ください…!
今回検証する知的な皆さんはこちら。
Claude3 Opus(有料プラン)
ChatGPT-4(有料プラン)
DeepL(無料プラン/5000文字上限)
ClaudeとGPTには人物設定を簡単に説明、DeepLには用語集に固有名詞の登録をした上で、日本語シナリオ5000文字の英訳に挑んでもらいます。
シナリオはこんな感じで、話者表示なしのセリフのみ記載したものです。
まずはスピード勝負!
Claude3 【2分】
ChatGPT-4 【4分50秒】※中断あり
DeepL 【10秒】
圧倒的DeepL。
ただDeepLはあくまで学習能力の高い翻訳ツールです。
チャットボット2つとは行う処理が違うのを念頭に置くとして…
それで言うとClaudeがめっちゃ速いですね!
GPTは5000文字あると3分の1くらいで一旦力尽きてしまうので、2回Regenerateを押さないと全部は生成しきれませんでした。
ユーザーが多いのでサーバー負荷もあるのかもしれません…?
簡単な会話はどう?
田舎のお屋敷見学に来た、普段は都会で大学に通っている主人公。
彼が屋敷の主人(桜井氏)に質問するシーンを見ていきましょう。
上からClaude(C)、GPT(G)、DeepL(D)の順に、1セリフずつ並べてみます。
早速Claudeが変化球を投げてきました。
この中だと一番イメージに近い訳をしてくれたのはGPTかな。
説明ゼリフはどう?
お屋敷での過ごし方について、主人が説明するシーンです。
お屋敷には紅葉佳乃子・武里礼央という使用人がいます。
これも切り分けつつ見ていきましょう。
うーん、これはClaudeがいいかもしれない。
今回は勝手に呼び方を変えられましたが、チャットボットのいいところとして、「AはBを姓で呼ぶ」という前提条件を伝えておけば従ってくれます。
そもそもキャラの名前を設定として正しく認識しているから、こういうClaude側での調整ができるわけで。
おそらく主人は使用人を名前で呼ぶのが自然と考えたのでしょう。
そして地味にこの訳は、翻訳元に忠実すぎるというDeepLの弱点が見えるような気もしました。
三点リーダ2つ使うのは日本のルールなので、英語なら「…」でいいわけですが、律儀に「……」って書いてくれるからなあ。
複雑な会話はどう?
お屋敷に連れてきてくれたタクシー運転手と主人公が別れるシーン。
お屋敷に到着したシーンでもあります。
話が途切れたり、前提すっとばしたり、悪態や独り言が入り混じったりしていますが、果たして…?
当たり前ですが、情報が少ないシーンの翻訳はどのツールも苦手ですね。
ふわふわになっておりました。
結局どう?
翻訳精度はどれも高い!!
けど、物語の翻訳はやっぱり難しいので人間も見よう!!!!
シナリオの場合、書き方や文体との相性もあるかもしれませんね。
AIで一括翻訳→人間が加筆修正
という協力体制のローカライズはめっちゃアリだと思います。
チャットボットは提供した情報が多いほど意図通りの翻訳を出してくれるので、
キャラの性別・固有名詞の読み方・どのような口調で話すか・他のキャラをどう呼ぶか…などをあらかじめ渡しておくのがいいと思います。
…が、それをすると、今のChatGPTは大変重くなります。
最後まで翻訳できたか、途中で諦めてないか、見張っておくのは結構ストレス。
今は速度の観点でClaudeに軍配があがるかなあ…
というところで、今回の検証はおしまいです。
ここはこうだと思うよ!という点があれば、お知らせいただけると嬉しいです!