【検証】ChatGPT(日本語) vs ChatGPT(英語)+DeepL翻訳
はじめに
最近何かと世を賑わしている対話型AI・ChatGPT。私もよく使っている。
ChatGPTには、大きな特徴がある。
日本語で問いを投げかけた時より、英語で問いを投げかけた時の方が、生成される回答の質が格段に良いのだ。
これは学習用データの量と質に由来するという。
英語は国際共通語としての圧倒的な地位を占めているのは周知の事実だが、母語話者に限っても日本語母語話者の約3倍の人数がいるという。日本語は助詞や敬語などが複雑で習得が難しいとされ、おまけに日本はハイコンテクストな文化を持っている。ChatGPTが米国企業によって開発されたものであることを抜きにしても、差が生じるのは致し方ないといったところだ。
そこで私はふと思い立ち、タイトルにもなっている検証を実施しようというところに行き着いたのである。なお、私は課金をしていないので、得られた検証結果はGPT3.5のものであることをご留意いただきたい。
この記事は過程をつらつら書き連ねることでひたすら引き延ばして読者の時間を奪うことは意図していないので、早速結果を示そう。
結論
結論から述べると、ChatGPT+DeepL翻訳ペアの圧勝であった。
以下に投げかけた質問と翻訳、それぞれの答えを掲載する。
問1
問1：同一国内に複数のタイムゾーンが存在することのメリットとデメリットをそれぞれ教えてください。
まずは日本語で問いを投げかける。
それっぽい回答ではあるが、特にメリットの方は理解に苦しむ。
次に英語経由。問いを英語に翻訳し、ChatGPTに回答させ、その回答を日本語に戻す。
首を傾げる部分が全くないとは言えないものの、少なくとも日本語の回答よりは優れていると感じる。
問2
問2：経済学的な観点から見て、現在の原油市場は十分に競争的だといえるでしょうか？理由も含めて教えてください。
やはり「それっぽい」回答ではあるが、論理的に違和感を覚える箇所が散見される。
また先程(問1)もだが、箇条書きとなっている項目で内容が重複する項目があるのが目につく。人間でもやりがちなミスではあるが、論理的な部分が整理しきれていないのだろうか。
では英語経由の方を見てみよう。
個人的には、この「問いの翻訳」の精度の高さが勝敗を決するカギであったと思っている。ハイコンテクストな日本語の文を、正確にローコンテクストな英語に変えている。
箇条書きの項目名は日本語とあまり変わらないが、その中身の大半が価格支配力の説明に終始した日本語回答と異なり、ある程度幅の広い回答が生成されている。結論を最初に持ってこなかったのが特徴的だが、何度か再生成してみると結論が最初に示されるケースもあり、そこはAIの気分次第のようだ。
問3
問3：東京に住んでいる人が週末に訪れるのに適した観光地を、いくつか列挙してください。
日本のこと、しかも日本に住んでいる人が発する問いを投げかけてみれば、日本語の学習用データが相対的に多く得られるのではないか、という思惑で、この問いを設定した。
「週末に訪れるのに適した」という条件の解釈のせいかもしれないが、TDL・TDSを除いて東京23区内のスポットで占められている。これでは「東京の観光地を教えてください」と質問しても、ほぼ同じ答えが返ってくるだろう。
今回の検証上は重大ではないかもしれないが、東京タワーが紹介されて、東京スカイツリーが出てこない点を少し不思議に感じた。ChatGPTは時事には弱いらしいが、スカイツリーの完成は2012年、まだスマホよりガラケーの方が多かった時代なので、その影響ではないだろう。
「東京に住んでいる人が」「週末に訪れる」というから、一般には東京から日帰り圏内の遠出先が対象になるだろう…というところを見事に読み切っている。最初に「Nikko:」と文字が見えた時、私は感動してしまった。また、DeepLが数々の固有名詞を正確に訳す点が非常に印象的だった。さらに特筆すべきは、伊豆半島を説明した訳文の最後に「楽しみ方はいろいろ。」とあるが、直接的に「いろいろな楽しみ方がある」とは書いておらず、ChatGPTの生成した英文では楽しみ方の具体例が列挙されているだけである。両者の圧倒的な文脈理解能力がよく表れた問答だと思う。
あとがき
ChatGPTの回答は明らかに英語の方が精度が高いのだが、内容が日本に関するものであっても英語優位は揺らがなかった。英語文献の充実性は恐ろしい。
その他に、今回の検証を通じて強く感じたのは、DeepLの優秀さである。2017年8月のサービス開始からもう6年が経とうとしているが、相当な学習の蓄積があるのだろう。
人間が何かを学習する際、母国語で原典にアクセスするのが困難だとしても、DeepLが使える限りハンディキャップはほぼ無いんじゃないかと感じさせられた。
AIの発展は著しく、数年後にはこの記事と全く違う結果が得られるようになっているかもしれない。私はそれがすごく楽しみだ。
この記事が気に入ったらサポートをしてみませんか？