【論文瞬読】ChatGPTは学術論文の要約を変えているのか？100万件のデータが示す衝撃の事実

こんにちは、株式会社AI Nestです！
今回は、ChatGPTに代表される大規模言語モデル（LLM）が学術論文、特に要約部分のライティングスタイルにどのような影響を与えているかを定量的に分析した興味深い研究を紹介したいと思います。

タイトル：Is ChatGPT Transforming Academics' Writing Style?
URL：https://arxiv.org/abs/2404.08627
著者：Mingmeng Geng, Roberto Trotta

研究の背景と目的

ChatGPTのようなLLMが登場して以来、学術分野でもその影響が注目されています。学術的な文章の生成や翻訳、校正などにLLMが活用されるようになってきましたが、その是非については議論が分かれるところです。この研究では、実際にChatGPTが学術論文のライティングスタイルにどの程度影響を与えているのかを、大規模なデータセットを用いて定量的に分析しています。

研究の方法と結果

この研究では、arXivの100万件もの論文要約を対象に、ChatGPTリリース前後での単語の頻度変化を統計的に分析するというアプローチがとられました。個々の要約がChatGPTで生成されたかどうかを特定するのではなく、全体としてのChatGPTの浸透度合いを推し量るのに効果的な方法だと感じました。

ChatGPT登場後に頻度が最も増加した12の単語とその時間的推移を示したグラフ

2023年初頭から頻度が急増している非専門用語の例を示したグラフ

"are"と"is"という単語の頻度の時間的変化を示したグラフ

分析の結果、特にコンピュータサイエンス分野でChatGPTの影響が顕著であることが明らかになりました。著者らの推定によると、コンピュータサイエンス分野ではChatGPTによって改訂された要約の割合が35％程度にのぼるとのことです。一方で、数学分野ではその割合が低く、分野によってChatGPTの活用度合いに差があることが示唆されました。

2021年から2022年にかけての単語頻度の変化率と
ChatGPTによる予測される変化率の関係を分野別に示した散布図

上記と同様の散布図、2022年から2023年にかけての実際の変化率

研究の意義と議論

この研究は、LLMが学術にもたらす影響を定量的に評価した点で意義深いと思います。ChatGPTの使用によって学術的厳密性が損なわれる恐れがある一方、非ネイティブの研究者にとっては英語論文執筆の助けになるというプラスの側面もあります。学術におけるChatGPTの是非については、より広範で継続的な議論が必要でしょう。

実データにおけるChatGPTの影響度合いの時間的推移の推定結果

上記と同様、正規化方法が異なる（単語の総数で正規化）

著者らも指摘しているように、この研究では比較的シンプルなプロンプトを用いたシミュレーションがベースになっています。より多様なプロンプトを用いた分析や、要約以外の本文も対象とした検討など、さらなる発展の余地があると感じました。

今後の展望

個人的には、LLMの学術分野での活用は今後ますます広がっていくだろうと考えています。一方で、LLMを万能視するのではなく、その特性や限界をよく理解した上で使いこなしていく必要があるでしょう。

学術コミュニティ全体で、LLMとどう付き合っていくべきかを模索していく上で、こうした実証的な研究の積み重ねが重要だと思います。LLMの影響をモニタリングし、望ましい活用のあり方を議論していくための土台となることを期待しています！