どうも、Duckです。
最近、ChatGPTに関するニュースを見ない日がなくなり、注目度の高さを感じる今日この頃。
一方で危険性にばかりスポットを当たるため、今後求められるであろうAIと上手に付き合っていくことに対するハードルが高まるのではないかと心配にもなりますね。
そんな話題に欠かないAIですが、今回は私も大変お世話になっている各種翻訳が可能なツールを使い、BGGのページを翻訳し、比較してみたいと思います。
なお、本記事は一部有料記事となります。
理由はあまりにもニッチな記事のため、ご興味ある方のみ読んでいただければと思ったためです。
とはいえ、ご興味を持っていただけた方が私としても嬉しくはありますので、今回の記事を執筆するにあたり、何故比較をしようと考えたのか、比較するツールについてなどの概要を無料範囲として公開しております。
こちらの概要をご一読いただき、ご興味あれば購読いただけますと幸いです。
【概要】
何故、比較しようと考えたのか
この記事を執筆している2023年6月現在、無料で利用可能な翻訳ツールの性能を比較したら新たな知見が得られるように感じたからです。
元々、私はボードゲームのルール翻訳を機械翻訳に頼っています。
以前からDeep LやGoogle翻訳にはお世話になっていましたが、Chat GPTの登場によりまた一段と翻訳の精度が高まったように感じています。
そこで、それらツールの精度を比較することで長所と短所を見極め、場面に応じた使い分けができればと思い、この記事の執筆に着手した次第です。
比較するツール
今回、比較するツールは以下の3つ。
Chat GPT、Deep L、Google翻訳
また、Chat GPTについては後述する指示の出し方によって出力される内容に差異が生まれるため、2通りの指示を試してみることとしました。
詳細は後述する「Chat GPTに用いる指示について」を参照。
なお、Chat GPT、Deep L、Google翻訳はiPhoneアプリ版を用いて検証します。
また、これらのアプリ版は事前に最新版へのアップデートを済ませて行うこととします。
比較元となる文章について
まず、私は英語が苦手です。
Kickstarterで支援をするようになってからは英語に対する苦手を克服できるよう英語に触れてきたため、少しは苦手意識も薄れ、読めるようにもなってきましたが、自身の力だけで正確な翻訳をすることはできません。
私自身で翻訳ができない以上、翻訳の精度を比較することは極めて困難かと思います。
そのため、今回の記事を書くにあたって、ボードゲーマーなら多くの人が内容を理解している作品の方が翻訳された文章の正確性の判断がつき易いだろうと考えたため対象を『カタン』としました。
「カタン、実は遊んだことない!」という方はこちらを参考にされると分かり易いかと思います。
また、この記事で翻訳するのは概要にあたる以下の文章とします。
また、アプリケーションで翻訳するにあたり、読み易さを重視して文ごと(文頭から文末のピリオドまで)に改行しています。
翻訳の基準日
今回、記事を書き上げるにあたり、各種翻訳ツールから文章は出力した日にちは以下の通りです。
基準日:2023年6月11日
何故、基準日を設けようと思ったのか。
それは日進月歩で進化を続けるAI翻訳の精度が、どの時点のものかを明確にする必要があると感じています。
また、今後AI翻訳技術について振り返ったときに過去の精度との比較もできるのではとも考えています。
Chat GPTに用いる指示について
Deep L、Google翻訳は英語から日本語へ翻訳するよう設定すれば自動的に翻訳されます。
しかし、Chat GPTは翻訳をメインとしたツールではないため、事前に何をしなければならないのか指示を出す必要があります。
今回、Chat GPTには「以下の文章を英語から日本語に翻訳してください。」(指示A)といった指示を出します。
併せて、翻訳の精度が上がると評判の指示も出したいと思います。
それは「あなたはあなたは優秀な翻訳家です。以下の文章を英語から日本語に翻訳してください。」(指示B)といったものです。
これら2つの指示によって、本当に違いがあるのかについても併せて比較したいと思います。
検証方法
今回は全文を一気に翻訳させる方法(全文翻訳)と、一文ごと(文頭から文末のピリオドまで)に翻訳させる方法(一番翻訳)の2通りを試したいと考えています。
理由としては今までこれらのツールを使ってきた経験から、長文になればなるほど誤訳や意味が通らない文章になってしまうからです。
そのため、長文を出力した場合と、一文ごとに出力した場合の所感をアプリケーションごとにまとめます。
また、それらの結果を踏まえて検証1と検証2についても比較して所感としてまとめたいと考えております。
その他
本記事は学術的な文章ではありません。
あくまでも私の所感であることを留意いただいた上で、ご購読ください。