連載企画＜Web翻訳 VS 生成AI翻訳＞vol.2 プロンプト検証編

はじめに

こんにちは。言語理解研究所（ILU）開発本部 知識辞書開発部の佐野です。

連載企画＜Web翻訳 VS 生成AI翻訳＞vol.1 精度比較編では、機械翻訳ソリューションで培った知見をもとに、シンプルなプロンプトを使った場合の生成AI翻訳や、原文のままWeb翻訳にかけた場合の翻訳精度などについて、お伝えいたしました。

今回のvol.2では、プロンプト検証編として、生成AI翻訳において、より詳細なプロンプトを用いた場合の結果の違いなどについて、お伝えいたします。

翻訳対象文に適した翻訳結果とは

私たちの身の回りには、ニュース記事やブログ、小説など、様々な種類の文章があふれています。ニュース記事であっても、扱われる内容によって様々なジャンルに分かれています。

プロンプトを詳細にすることで、生成AIが作成する翻訳結果は変化するのか。検証してみたいと思います。

生成AIの翻訳結果はプロンプトによって変化するのか

vol.1の評価では、

という、ごくシンプルなプロンプトを用いて、生成AIにニュース記事を翻訳させました。

このようにシンプルなプロンプトであっても、GPT4oでは全記事の合計で90%を越える精度が得られるなど、生成AIの結果は優秀なものでした。
一方で、記事のジャンルによっては精度が落ちるなどの課題も見られました。

では、より詳細なプロンプトを作成すれば精度は向上するのでしょうか。
vol.1の評価でも用いた、保険業界の情報漏洩に関するビジネス記事を事例に、GPT4oで試してみます。

新プロンプト案①は、日英翻訳であることを明確化するための文言や、翻訳対象がニュース記事であること、翻訳結果に求める形式などを記した日本語プロンプト案です。

新プロンプト案②は、翻訳対象が、「保険業界での情報漏洩に関するニュース記事」であることを追加するなど、①をより詳細にした日本語プロンプト案となっています。

これらを使った翻訳結果は、果たしてどうなるのか。結果を確認してみましょう。

このように、GPT4oにおいては、「保険業界での情報漏洩に関するニュース記事」であることを明確に記すなど、詳細なプロンプトを作成することで、より翻訳対象文に沿ったニュアンスの翻訳結果が得られることが分かりました。

ところで、他の生成AIでも同様のことが言えるのでしょうか。
この点についても、検証してみました。

詳細なプロンプトは万能なのか

GPT4oの検証で用いた翻訳対象文・プロンプト案を、GPT3.5でも試してみます。

今回は、詳細に記した新プロンプト案①、新プロンプト案②とも、翻訳結果が劣化するという結果になりました。
GPT3.5には、シンプルなプロンプトのほうが適しているようです。

ひとつの生成AIで良い結果が得られたプロンプトであっても、他の生成AIで良い結果が得られるとは限らないことが分かります。

他にも、生成AIの開発国の母国語に合わせて、日本語ではなく英語で記述したもの、

タグを使用して構造化したプロンプトを用いて記述したもの、

などでも検証してみましたが、プロンプトによっては、結果が大きく欠落したり、翻訳されず日本語のままで返ってきたりするものもありました。

どのようなプロンプトを作成すれば、理想の翻訳結果に近づけるのか。
個々の生成AIの特性をつかみ、適切なプロンプトを使いこなすことが求められます。

まとめ

今回の検証を通して得られた生成AIごとの特性を、以下の表にまとめました。

いずれの生成AIでも、一部翻訳結果の欠落が見られたり、逆に、「Here is the English translation of the Japanese news article:」のような文言や文頭の記号など、原文にはない表現が訳文に追加されることがありました。

たとえ高精度の翻訳結果を返す生成AIであっても、人手でのチェック作業は必要不可欠なようです。

おわりに

ここまで、プロンプト検証編としてお伝えしてきました。
プロンプトの違いや利用する生成AIによって、非常に多様な結果が得られました。使いこなすことで、翻訳の手間の軽減や、翻訳スピードの向上も期待できます。
皆さまもぜひ、これぞというプロンプトの作成にトライしてみてはいかがでしょうか。

今後はWeb翻訳の前処理に関するコツをお伝えする予定です。
どうぞお楽しみに！