ChatGPT vs Google Bard ～AIたちの論文翻訳バトル！～
仁義なき戦いが、今ーーー始まる。
科学に触れてみたい。何かを知りたい。
そんなとき、論文は有用だ。
・学問の様々なジャンルごとに、雑誌（ジャーナル）がいろいろある
・過去から現在に至るまでの記事として、膨大な知見が蓄積されている
・オンラインが主流であり、ダウンロードも可能
・Google Scholarという充実したプラットフォームもあり、検索しやすい。
などなど。
ただ、共通言語なので仕方ないとはいえ
そのほとんどは英語で書かれている。
日常会話ならまだしも、
専門用語や最新の知見などが織り込まれた英文を、抵抗なくスラスラと読むのは難しい。
自身が携わっている分野であれば、それほど抵抗はないのだが
『ちょっと興味があるから』といろいろ手を付けるには、少々勇気と根性がいる。
そこで対話型AIの出番というわけだ。
言語の壁を、AIにぶち破ってもらうことができれば……
基礎研究が人々にとって、もう少し身近なものになるかもしれない。
この記事では、昨今界隈を賑わせている
ChatGPTとGoogle Bardという2名の看板選手に登場して貰い、
論文の翻訳・要約という場面において
どちらが優れているかを考えてみるコラムである。
諸兄がここに辿り着いた理由は様々であろう。
純然たる知的好奇心に駆られたが故か、
それとも課題をサボる手法開発に暇がないのか……
いずれにせよ、”興味本位”でさっと眺めてみて頂ければ幸いである。
なお、コレはあくまで遊びの範疇であり、
真面目な検証とはなり得ない点については予めご容赦願いたい。
はじめに
まずは「著作権」を考えよう
いきなり本題に入るまえに、
AIを利用するうえで著作権については絶対に確認しておこう。
AI利用については、
・入力する元データの著作権
・出力された生成物の著作権
それぞれに注意が必要だ。
こちらのサイトが、非常にわかりやすかったので共有させていただこう。
サイトの内容から解釈すると、論文のAI翻訳については
個人の利用にあたる範囲内（シンプルな翻訳目的での入力）はセーフとなりやすく、
生成された文章をSNSに転載したり、拡散したり……といった行為はアウト、あるいはグレーゾーンだといえそうだ。
ただし、ここで注意するべきなのが
上記はあくまで法律のお話であるということだ。
技術の進歩にルールの整備や倫理感が追いついていない様に感じるので、
道徳的な観点からもみる必要があるだろう。
例えば、イラスト生成AIの場合。
クリエイターに無許可で作品を入力する行為など、
たとえ個人で鑑賞するためだけであっても、到底許されるものではない。
しかしながら、論文の場合は少々考え方に幅がある。
というのも、科学には伝わってナンボという側面もあるため
翻訳・要約やその共有が、一概に問題行為とは言えないのだ。
もちろん、有料の購読が必要なものを転載するのは
映画やドラマ・アニメの海賊版と同じ行為になるのだが……はて。
Open Accessとクリエイティブ・コモンズ
そんなこんなで、論文に限らず
このインターネットのご時世、著作権とは何とも判断が難しい。
研究や論文は先述のように「公開したほうが良い」側面もあるため、
記事を無料公開しつつ、定められた範囲内での利用を許可する動きも盛んになっている。
無料公開することは、一般的にオープンアクセスと呼ばれる。
購読しなくても多くの人が参照できる点が魅力だ。
このとき、気になるのは
「第三者にどこまでの取り扱いを認めるか」という点であろう。
この点についても共通のルールが存在する。
クリエイティブ・コモンズ・ライセンスといって、
クレジット表示や改変・二次利用などについて許諾範囲を明記するものである。
CCライセンスを利用することで、作者は著作権を保持したまま作品を自由に流通させることができ、受け手はライセンス条件の範囲内で再配布やリミックスなどをすることができます。
ジャーナルによっては、予めオープンアクセス専用の記事特集を組んだりすることもある。
例えば、natureという自然科学分野の大御所でも
Nature Communications というオープンアクセスジャーナルを公開している。
このジャーナルでは、全ての記事がCC BYという
クレジット明示のうえで、共有や改変を認める方針となっている。
さらに、一部記事は日本語で要約した文章もオンライン公開されており、
多くの人が触れやすい様に工夫がなされている。
そもそも日本語でも概要だけは読めるため、本来はAIに翻訳させる必要は薄いのだが。
今回の翻訳テストには、むしろ非常に都合が良いため利用させて頂くことにした。
バトル開始！
Round 1：専門用語の翻訳や理解度
まずは小手調べといこう。
文章ではなく、もう少し単純な”専門用語”が訳せるかどうかのテストから。
今回は2つの用語を使用してみた。
托卵（Brood Parasite）
別種の生き物がつくった巣に自身の卵を産み、その生き物に子育てをさせる戦略。
カッコウという鳥で知っている方は多いのではなかろうか？
ステップアップ光驚動反応（step-up photophobic response）
光の強さの急な変化に応じて、運動方向を一気に変える反応。
ミドリムシが光に対して示す応答のひとつとして有名。
それでは、托卵からいってみよう。
ChatGPT
概ね合ってはいるものの、ブロンズクックーは検索しても出てこない。
托卵という単語は一切出ず、全体的には微妙な判定。
Bard
後半の約1,000種という記載が怪しい。
宿主への有益な効果のくだりも微妙だが、防御応答の共進化という点ではまぁ……といったところか。
托卵という用語は完璧に把握している模様。
ややBardに軍配があがりそうだ。
ちなみに、カッコウとはいうがBardは”吟遊詩人”という意味なのでご注意を（鳥→Bird）。
さて、もう片方も試してみよう。
ChatGPT
ステップアップという単語に引っ張られている感が強く、全体的にかなり微妙。
ミドリムシにおいては光合成の調節ではなく運動方向の転換といった意味合いが正しいはずなので、蛇足を生やしまくっている感がある。
Bard
光恐怖反応……惜しい！
ただ、ニュアンスとしてはこっちのほうが近いように思う。
ChatGPTと同じく、デタラメに蛇足を生やしまくっているのは問題アリ。
ミドリムシに至ってはすべてがめちゃくちゃ。
比較してみて感じたが、シンプルな単語・専門用語の解説のほうが
対話型AIではかえって、情報の提供に苦しむのかもしれない。AI「えっ……し、知ってるもん！ （何か喋らなきゃ……）ﾍﾟﾗﾍﾟﾗﾍﾟﾗﾍﾟﾗ」
全体的には互角、あるいは若干Google Bardに軍配が上がる印象。
Google検索という存在が強力で、今後の強化に期待がかかるか？
お次はいよいよ、論文を読み込ませてみよう！
Round 2：論文翻訳（Abstract）
ここでは論文のAbstract、すなわち概要の翻訳をさせて比較してみよう。
研究にせよ会社の仕事にせよ、報告書でははじめに結論を簡潔に述べるものだ。
論文ではAbstractと呼ばれることが多く、
とりあえずそこに目を通せば、だいたい何をやったかは把握できる。
今回のテストでは、先述のnature communicationsより
ペンギンの個体数と鉄分循環についての研究をピックアップ。
なんで鉄？と思ったかもしれないので、背景から補足しておこう。
南極海では栄養塩が豊富にも関わらず植物プランクトンの発生が少なく、
その律速要因が鉄という考えがある。
『マーチンの鉄仮説』で調べてみると良い。
南極海のような極限の環境では、植物プランクトンの発生数は生態系のバランスや炭素循環に大きく関わるため、
鉄分の循環にも研究の焦点が向けられることが多いようである。
元のサイトに日本語要約があるため、内容をざっくり把握することはできている。
そのうえで、AIたちには敢えて原本のAbstractを読ませて要約してもらおう。
ChatGPT
専門用語ではちぐはぐだったが、長文をとにかく訳せ！となると本領発揮か？
ただ、嘘を加えたりはしていないものの、文章の流れや順序はバラバラに感じる。
特に結論が弱い（個体数減少が続くと、さらに鉄分の循環に影響が及ぶ可能性に触れていない）。
Bard
こちらも、とにかく訳せ！は得意分野とみて良さそうだ。
”翻訳・要約をお願いします”と入力したからか、
最後に箇条書きでまとめるサービス精神も見せてきた。
ただ、ChatGPTと同じく考察がイマイチで、要約がコレジャナイ感。
Abstractの翻訳においては、どちらも十分な仕事をしてくれた感がある。
共通する問題点としては、翻訳の羅列で終わり投げっぱなしな印象を受けた。
『だから〇〇といえる、考えられる』といった考察・結論で締められないので、
読み手が研究の背景を把握して、原文から情報を吸い取る必要がありそうだ。
Round 3：実験手法（Method）※一部だけ
続いては、論文のキモとも言える実験手法について。
どんな研究を行ったか、方法や道具などを示している。
知識に触れるだけならばそこまで深く読み込む必要はないのだが、
その研究の正しい部分や、間違っている部分・問題点のジャッジにも使う重要な項目だ。
例えば、極端かつ適当だが ↓のような報告があったとしよう。
Abstract
ある種の動物をA群とB群に分け、餌Aと餌Bを毎日投与した。
B群に肥満や体調不良が見られたので、餌Bは毒性が強いことが示された！
Method
A群とB群に、同種の動物を20匹ずつ振り分けて
A群：餌Aを毎日、体重の半分程度与えた
B群：餌Bを毎日、体重の8倍与えた
→ 1週間後、B群に肥満や体調不良が見られた。
果たして、このような研究はまともだと言えるだろうか？
簡単にジャッジができるはずだ。
つまり何が言いたいかというと、
実験手法がスルスルと翻訳できれば
専門知識が少ない人にも、情報の真偽を判断できるチャンスが広がる。
インターネットでは大切なことではなかろうか。
というわけで、ちょっとだけやってみた。
流石にどちらも厳しそうだ。
そもそも、MethodやResult（結果）の部分では図表や写真、グラフが多く出てくる。
場合によっては、それらを別添資料としてダウンロードし確認することもザラにある。
それらを抜きにして、文章だけ突っ込んでもどうしようもない。
したがって、こうした役割を担うには時期尚早とみて間違いない。
ただし、実験手法の解説は長文も多いので
直訳目的で補佐的に活用して、数字やデータは直接確認するなど
利用の仕方はあるかもしれない。
Round 4：論文検索（おまけ）
最後に、”関連した内容の論文を教えて”という質問をぶつけてみた。
最初にことわっておくが、完全にオマケ要素となる。
理由は次の2つ。
・論文にはそもそも参考文献が必ず示されているので、そっから辿れる
・Google Scholarなどで検索すればそんなに手間じゃない
結果は……
ChatGPT
1と3に至っては論文が存在しない。2は”Southern”を除けばタイトルと著者名は合っていたが、オープンアクセスでは無い。
リンクはいずれもデタラメ。
Bard
こちらは入力を工夫しても、タイトルを何故か日本語にしてしまう。
リンク先は存在こそしているが、内容・著者名はデタラメ。
オープンアクセスでもない。
論文検索ははじめから、全く期待しないほうが良さそうだ。
結論
どちらもまだまだ発展途上。
概要をさっと流し見するためのツールとしては、かなり有用そうだ。
ただし、賢明な判断のためには
・自身でも原文に目を通す
・参考文献を辿ってみて、背景を理解する努力
といったものも必要だろう。
それはそう。
至極真っ当な、面白くない結論になってしまったが……
今後の発展により、さらに使えるものになってくれそうな雰囲気は感じる。
個人的には、概要の要約を勝手にまとめ始めたGoogle Bardの性格が気に入っている。
托卵という専門用語にバッチリ辿り着いた部分もあったり、成長すれば本当に凄いことになるかも……という期待を寄せて見守っておこう。
では。
参考文献・図書
The contribution of penguin guano to the Southern Ocean iron pool
（Oleg Belyaev et al. Nature Communications volume 14, Article number: 1781 (2023)）
行動生態学 原著第4版（共立出版）
著：B. Davies, R. Krebs, A. West
訳：野間口 眞太郎・山岸 哲・巌佐 庸
動物の多様な生き方 1 見える光、見えない光 動物と光のかかわり
（編：日本比較生理生化学会、発行：共立出版）
自然言語系AIサービスと著作権侵害（STORIA法律事務所 ブログより）
マーティンの鉄仮説（京都大学理学研究科・理学部HPより）
ヘッダー背景：素材屋あいりす様
この記事が気に入ったらサポートをしてみませんか？