DeepL vs. ChatGPT：国際監査基準翻訳バトル7番勝負
DeepLとChatGPT、監査関係の翻訳に使うのならどっちが正確か、実際の訳で比べました。
てりたまです。
監査法人で30年強、うち17年をパートナーとして勤めました。
AIが目覚ましく進化し、また一気に普及することにより、さまざまな仕事が地殻変動を起こしています。
翻訳もその一つ。翻訳ツールとして地位を確立しているDeepLと、当たり前に使われるようになってきたChatGPTのどっちが正確に翻訳してくれるのか。実際の訳で比較しましょう。
例として、2022年10月に公表された国際監査基準500（改訂）「監査証拠」公開草案の中から、A19項を使いました。後で再掲しますので、ここでは読まなくて大丈夫です。
A19. ISA 220 (Revised) explains that unconscious or conscious auditor biases may affect the engagement team’s professional judgments in designing and performing audit procedures, and provides examples of biases that may impede the exercise of professional skepticism. An awareness of such biases when designing and performing audit procedures may help to mitigate impediments to the auditor’s exercise of professional skepticism in critically assessing audit evidence and determining whether sufficient appropriate audit evidence has been obtained for the auditor’s purposes. Such awareness may also enable the auditor to design and perform audit procedures that seek to avoid:
• Placing more weight on audit evidence that corroborates the assertions in the financial statements than audit evidence that contradicts or casts doubt on such assertions (confirmation bias).
• Using an initial piece of information or audit evidence as an anchor against which subsequent information or audit evidence is assessed (anchoring bias).
• Placing more weight on information that immediately comes to mind or uses information from sources that are more readily available or accessible (availability bias).
• Placing weight or undue reliance on output from automated systems or information in digital format without performing appropriate audit procedures (automation bias). Also see paragraphs A22-A23.
ある程度の長さがあり、専門用語を含み、また箇条書きの部分があって比較しやすいと考えて、この項目を選びました。
ChatGPTは、以下のプロンプトにより指示しました。「あなたはIAASBのテクニカル・ディレクターです」と呪文を唱えています。バージョンはGPT-4です。
You are Technical Director of International Auditing and Assurance Standards Board. Translate the following into Japanese:
（以下、A19項を貼り付け）
それでは、Let's Go!
翻訳バトル7番勝負
Battle #1
＜原文＞
ISA 220 (Revised) explains that unconscious or conscious auditor biases may affect the engagement team’s professional judgments in designing and performing audit procedures, and provides examples of biases that may impede the exercise of professional skepticism.
＜JICPA翻訳＞
ISA 220(改訂)は、監査人の無意識又は意識的な偏向は、監査手続の立案及び実施において、監査チームの職業的専門家としての判断に影響を及ぼすことがあると説明しており、職業的専門家としての懐疑心の発揮を妨げる可能性がある偏向（バイアス）の例を示している。
＜DeepL＞
ISA220（改訂版）は、無意識又は意識的な監査人のバイアスが、監査手続の立案及び実施における監査チームの専門的判断に影響を与える可能性があることを説明し、専門的懐疑心の行使を妨げるバイアスの例を示しています。
＜ChatGPT＞
ISA 220（改訂）は、無意識または意識的な監査人のバイアスが監査手続きの設計および実施におけるエンゲージメントチームの専門的判断に影響を与える可能性があり、専門的懐疑心の行使を妨げる可能性のあるバイアスの例を示しています。
ご覧のように、原文を再掲したあと、参考までにJICPAによる翻訳（2023年1月公表）、DeepLによる翻訳、ChatGPTによる翻訳の順に並べています。
早速ですが、DeepLもChatGPTも、結構頑張っていますよね？
特徴的なところを太字にしています。
原文の"professional skepticism"は、JICPA訳のように「職業的専門家としての懐疑心」またはせめて「専門家の懐疑心」などと訳してほしいところですが、DeepLもChatGPTも「専門的懐疑心」とよく分からない訳になってしまっています。
結果：引き分け！
Battle #2
＜原文＞
An awareness of such biases when designing and performing audit procedures may help to mitigate impediments to the auditor’s exercise of professional skepticism in critically assessing audit evidence and determining whether sufficient appropriate audit evidence has been obtained for the auditor’s purposes.
＜JICPA翻訳＞
監査手続を立案し実施する際に、このようなバイアスを認識することは、監査証拠を批判的に評価し、監査人の目的に照らして十分かつ適切な監査証拠を入手できたかどうかを判断するに当たり、監査人の職業的専門家としての懐疑心の発揮を阻害する要因を軽減するのに役立つことがある。
＜DeepL＞
監査手続を立案・実施する際に、このようなバイアスを認識することは、監査証拠を批判的に評価し、監査人の目的のために十分な適切な監査証拠を入手したかどうかを判断する際の、監査人の職業的懐疑心の発揮を妨げる要因を軽減するのに役立つと考えられる。
＜ChatGPT＞
監査手続きの設計および実施時にこのようなバイアスを意識することで、監査証拠の批判的評価と、監査人の目的に適切で十分な監査証拠が得られたかどうかの判断における専門的懐疑心の行使に対する障害を緩和する可能性があります。
こちらも全体としてはよく訳されていますが、原文の"may"の訳が気になります。
ここはJICPA訳の「ことがある」といったように、「そうでないこともある」という意味を込めたいところ。ChatGPTは「可能性があります」といい感じですが、DeepLの「と考えられる」は踏み込みすぎです。
一方でChatGPTは「監査人の目的に適切で十分な監査証拠が得られたかどうかの判断における専門的懐疑心の行使に対する障害を緩和する」という部分が、どうも日本語としてこなれていないですね…
よって
結果：引き分け！
Battle #3
＜原文＞
Such awareness may also enable the auditor to design and perform audit procedures that seek to avoid:
＜JICPA翻訳＞
また、このような認識を持つことにより、監査人は、以下のようなバイアスを回避する監査手続を立案し実施することができる。
＜DeepL＞
また、このような認識により、監査人は、回避を目的とした監査手続を立案し実施することができるかもしれません：
＜ChatGPT＞
このような意識は、監査人が以下を避けるような監査手続きを設計および実施することができます。
以下に続く箇条書きを導入する文です。
「以下」に該当する文言は原文にはありませんが、ChatGPTが「以下を…」としているのは、さすがです。
ところがDeepLはいきなり「回避を…」となっていて、何の回避のことを言っているのか分かりづらくなっています。
結果：ChatGPTの勝ち！
Battle #4
＜原文＞
Placing more weight on audit evidence that corroborates the assertions in the financial statements than audit evidence that contradicts or casts doubt on such assertions (confirmation bias).
＜JICPA翻訳＞
アサーションに矛盾する、又は疑問を呈する監査証拠よりも、財務諸表におけるアサーションを裏付ける監査証拠を重視すること（確証バイアス）。
＜DeepL＞
財務諸表の主張を裏付ける監査証拠を、当該主張に反する又は疑義を呈する監査証拠よりも重視すること（確証バイアス）。
＜ChatGPT＞
財務諸表の主張を裏付ける監査証拠よりも、その主張に矛盾するまたは疑問を投げかける監査証拠に重きを置く（確認バイアス）。
アサーションを「主張」と訳してしまうのは、監査の用語がよく分かっていないためでしょうね。
ChatGPTが「確証バイアス」のことを「確認バイアス」としているのが気になりますが、このような言い方もあるようです。
結果：引き分け！
Battle #5
＜原文＞
Using an initial piece of information or audit evidence as an anchor against which subsequent information or audit evidence is assessed (anchoring bias).
＜JICPA翻訳＞
最初の情報又は監査証拠を、その後の情報又は監査証拠を評価する際の錨（アンカー）として使用すること（アンカリング効果によるバイアス）。
＜DeepL＞
最初の情報又は監査証拠を、その後の情報又は監査証拠を評価するためのアンカーとして使用すること（アンカリング・バイアス）。
＜ChatGPT＞
最初の情報や監査証拠を、その後の情報や監査証拠が評価される基準として使用する（アンカリングバイアス）。
ここでは"anchor"の訳に注目しましょう。
最初に触れた情報に「引っ張られる」ことを表現するのには、「アンカー」とそのままカタカナにするしかないように思います。
ChatGPTは深く考えずに訳したのか、むしろ踏み込んで訳したのか分かりませんが、「基準」としてしまうと「引っ張られる」感が薄くなってしまいます。
結果：DeepLの勝ち！
Battle #6
＜原文＞
Placing more weight on information that immediately comes to mind or uses information from sources that are more readily available or accessible (availability bias).
＜JICPA翻訳＞
すぐに思い浮かんだ情報を重視したり、容易に利用可能な又はアクセスが容易な情報源からの情報を使用すること（可用性バイアス）。
＜DeepL＞
すぐに思いつく情報を重視したり、より入手しやすい、またはアクセスしやすい情報源からの情報を利用する（利用可能性バイアス）。
＜ChatGPT＞
思いつく情報や、入手しやすいまたはアクセスしやすい情報源からの情報に重きを置く（可用性バイアス）。
JICPA翻訳では「すぐに思い浮かんだ」、DeepLの「すぐに思いつく」に対して、ChatGPTの「思いつく」だけではピンときません。やはり"immediately"を訳出する必要があるでしょう。
結果：DeepLの勝ち！
Battle #7
＜原文＞
Placing weight or undue reliance on output from automated systems or information in digital format without performing appropriate audit procedures (automation bias). Also see paragraphs A22-A23.
＜JICPA翻訳＞
適切な監査手続を実施することなく、自動化されたシステムによる生成物又はデジタル形式の情報を重視したり、不当に依拠すること（自動化バイアス）。A22項からA23項も参照のこと。
＜DeepL＞
適切な監査手続を実施せずに、自動化されたシステムからの出力やデジタル形式の情報に重きを置いたり、不当に信頼したりすること（自動化バイアス）。段落A22-A23も参照。
＜ChatGPT＞
適切な監査手続きを実施せずに、自動化されたシステムからの出力やデジタル形式の情報に重きや過度の依存を置く（自動化バイアス）。また、A22-A23項を参照してください。
原文の冒頭の"Placing"は、"weight"と"undue reliance"の両方にかかっています。これをどう訳すかが腕の見せどころ。
DeepLはJICPAの訳に近く、"weight"と"undue reliance"とで"Placing"の訳を変えています。一方ChatGPTの「過度の依存を置く」は、あまりに直訳で意味がよく分かりません。
結果：DeepLの勝ち！
おわりに
7番勝負の結果は、怒涛の追い上げを見せたDeepLが3勝1敗3分で優勝となりました。やはり餅は餅屋、ということでしょうか。
もちろん、ChatGPTも、プロンプトを工夫するともっと適切な訳をしてくれるかもしれません。
もともと、とんでもない翻訳をさせて笑おうという企画のつもりでしたが、意外としっかり訳してくれて、拍子抜けでした。
DeepLもChatGPTも、仮訳として内容を把握する目的で使うには十分と言えそうです。
最後までお読みいただき、ありがとうございます。
この投稿へのご意見を下のコメント欄またはTwitter（@teritamadozo）でいただけると幸いです。
これからもおつきあいのほど、よろしくお願いいたします。
てりたま
この記事が気に入ったらサポートをしてみませんか？