ChatGPTが論文のライティングスタイルにもたらした変化

はじめに：静かに進行する学術界の革命

2022年11月、OpenAIによって公開されたChatGPTは、瞬く間に世界中の注目を集めました。学術界もその影響を受けており、そして静かに浸透していると言って良いかもしれません。

本記事では以下の4つの論文をレビューし、ChatGPTが論文のライティングスタイルにどのような変化をもたらしたのかを検証したいと思います。（Gemini1.5Proで4本の論文をまとめてレビューし、それをClaude3.5Sonnetでまとめて少し手直ししています。ちなみに最初レビューをNote bookLMにやってもらいましたが要素を抽出するだけならいいのですが、読み物として仕立てるには難しかったので不採用にしました）最後に書いた文章がChatGPTっぽくならないようなnegative promptも掲載しています。

Delving into ChatGPT usage in academic writing through excess vocabulary

Is ChatGPT Transforming Academics’ Writing Style?

ChatGPT "contamination": estimating the prevalence of LLMs in the scholarly literature

Delving into PubMed Records: Some Terms in Medical Writing Have Drastically Changed after the Arrival of ChatGPT

4本目は松井先生の論文になります👇🏻

Preprintあげたのでご報告！📣
ChatGPTが使いがちな英単語ってありますよね。「delve」「realm」「utilize」あたり。
（限界助教先生の記事面白かったです、以下👇参照）https://t.co/aYK0KDgJ7L… pic.twitter.com/ognOJecixR

— 松井健太郎 睡眠・精神医学 (Kentaro Matsui) (@matsuikentaro1) May 17, 2024

以前のこちらの記事は私の経験based、本記事はevidence basedの形になります。

論文執筆は、多くの研究者にとって時に苦痛を伴う作業です。英語を母語としない研究者にとっては特に、言語の壁が大きな障害となります。ChatGPTは、この障壁を一気に取り払ってくれます。翻訳、校正、要約作成—かつては数日を要したこれらの作業が、数分で完了する。その魅力は、抗いがたいものです。

特定の分野、特にコンピューターサイエンスや工学系の論文において、ChatGPT特有の言い回しや表現が急増しているという傾向があります。これは、多くの研究者が既にChatGPTを論文執筆に活用していることを示唆しています。

この傾向は非英語圏の研究者の間でより顕著とのことであり、言語の壁を越えるためのツールとして、ChatGPTは確かに強力です。しかし、それは同時に、学術論文の画一化、さらには研究の多様性の喪失につながる危険性を孕んでいます。

私たちは今、学術界の大きな転換点に立っています。AIによる支援は、確かに研究のスピードと効率を飛躍的に向上させる可能性を秘めています。しかし同時に、研究の本質ー独創性、批判的思考、そして何よりも人間の知性による深い洞察—を脅かす存在ともなり得ます。

この新しい時代において、私たち研究者には、これまで以上に高い倫理観と批判的思考力が求められています。AIを賢く活用しつつ、真の学術的価値を守り抜く、そのバランスを取ることこそが、現代の研究者に課せられた使命かもしれません。

ChatGPTの指紋：AIが好む言葉たち

言語学者や計算言語学の専門家たちが明らかにした、ChatGPTの「指紋」とも呼べる言語パターンは、私たち研究者に重要な示唆を与えています。これらの特徴的な単語や表現は、単なる文体の問題ではなく、AI生成コンテンツが学術界に浸透している証左となっています。

ChatGPTの影響を検出する手法：データ駆動型アプローチ

学術論文におけるChatGPTの影響を定量的に分析するため、研究者たちは以下のようなデータ分析手法を駆使しています。

1. 時系列分析による単語頻度の変化追跡

   • arXivやPubMedなどの大規模データベースを用いて、論文アブストラクトにおける単語頻度の経時的変化を分析。

   • ChatGPT導入前後での単語使用頻度の変化率を計算し、AIの影響を推定。

2. 対照群との比較分析

   • ChatGPTが好む特定の用語（例：「delve」「underscore」「meticulous」）と、一般的な学術用語の使用頻度を比較。

   • この対比により、AIの影響を受けた可能性のある語彙を特定。

3. 予測モデルと実測値の乖離分析

   • 過去のデータ（例：2021年と2022年）から2024年の単語頻度を予測。

   • 実際の頻度と予測値の差（「超過頻度」）を計算し、ChatGPTの影響を定量化。

4. シミュレーションデータとの比較

   • ChatGPTの影響をシミュレートしたデータセットを作成。

   • 実際のデータとシミュレーションデータを比較し、AIの影響度を推定。

5. キーワード分析によるAI使用率の推定

   • LLMが好む特定のキーワードを選定。

   • これらのキーワードを含む論文の割合から、AI使用率を推定。

これらの手法を組み合わせることで、研究者たちはChatGPTが学術論文の言語使用に与える影響を、客観的かつ系統的に分析することに成功しています。しかし、これらの手法にも限界があることを認識する必要があります。例えば、AIの影響と自然な言語トレンドの変化を完全に区別することは困難です。また、分野や言語による差異も考慮に入れる必要があります。

頻出単語リスト

動詞

delve, underscore, elucidate, showcase, navigate, mitigate, leverage, bolster, unveil, unravel, harness, optimize, revolutionize, streamline

これらの動詞は、多くが抽象的で、やや大げさな印象を与えます。人間の執筆者なら、より具体的で直接的な表現を選ぶことが多いでしょう。

形容詞

meticulous, commendable, intricate, noteworthy, notable, crucial, pivotal, robust, comprehensive, groundbreaking, paramount, invaluable, unprecedented, potent, versatile, transformative

これらの形容詞は、研究の重要性や新規性を強調する傾向があります。しかし、過度の使用は逆に信頼性を損なう可能性があります。

副詞

reportedly, additionally, ultimately, strategically, aptly, impressively, ingeniously, undoubtedly, effectively

これらの副詞は、文章に確信や断定的な調子を加えます。しかし、学術論文では往々にして、より慎重で控えめな表現が好まれます。

フレーズの組み合わせ

「meticulously delve into」「compelling evidence」「pivotal role」といった組み合わせも、ChatGPTの特徴です。これらは一見洗練された表現に見えますが、過剰に使用すると文章が冗長になり、本質的な内容が希薄になる危険性があります。

分野による差異

これらのAI的表現の使用頻度は分野によって大きく異なります。例えば、コンピューターサイエンスや工学系の論文では、これらの表現が顕著に増加しています。一方、数学や物理学などの分野では、その影響は比較的小さいようです。

地域による差異

非英語圏の研究者による論文において、これらのAI的表現がより頻繁に見られる傾向があります。これは、言語の壁を乗り越えるツールとしてChatGPTが積極的に活用されている証拠かもしれません。

批判的検討の必要性

これらの「指紋」を知ることは、単にAI生成コンテンツを検出するだけでなくむしろ、私たち研究者自身の文章表現を批判的に検討する機会を与えてくれます。自身の論文に、これらのAI的表現が増えていないか？それは本当に必要な表現なのか？より直接的で明確な表現はないか？このような自己点検は、AIの時代にこそ、研究者に求められる重要なスキルとなります。単にAIの支援を受けるだけでなく、それを超えた人間らしい、洞察に満ちた表現を追求することが、AI時代の学術論文に求められます。

ChatGPTがもたらす功罪：効率と倫理のジレンマ

ChatGPTの登場は、学術界に変革をもたらしています。しかし、この技術は、メリットとデメリットを併せ持つ諸刃の剣です。ここでは、その功罪を詳細に分析し、我々研究者が直面する倫理的ジレンマについて考察します。

メリット：効率化の誘惑

1. 時間の節約：単純作業の自動化
   ChatGPTは、文献レビュー、要約作成、参考文献のフォーマット調整など、時間のかかる単純作業を驚異的なスピードで処理します。例えば、数百件の論文要約を数分で生成することも可能です。これにより、研究者は 本質的な研究活動により多くの時間を割くことができます。

2. 言語の壁の低下：非英語圏研究者の支援
   英語を母語としない研究者にとって、ChatGPTは 頼れるツールとなり得ます。文法の修正、適切な学術的表現の提案、さらには全文の翻訳まで、言語面でのサポートは極めて強力です。これにより、研究成果の国際的な公表が促進される可能性があります。

3. 文章の洗練：文法的正確性の向上
   ChatGPTは、文法的に正確で読みやすい文章を生成する能力に長けています。この特性は、論文の可読性を高め、査読者や読者の理解を助けるポテンシャルを秘めています。

デメリット：学術の本質への脅威

1. 正確性の欠如：ハルシネーションと出典捏造の危険性
   ChatGPTは時として、存在しない情報や事実と異なる内容を「ハルシネーション」として生成することがあります。さらに危険なのは、実在しない論文や著者を引用するケースです。これらは、学術的誠実性を根本から揺るがす重大な問題です。（筆者注：このあたりは対策すれば防げます）

2. 独創性の喪失：既存の再構成に過ぎない文章生成
   ChatGPTの生成する文章は、既存の言葉の再構成に過ぎません。真に革新的なアイデアやパラダイムを変えるような概念を生み出すことは、現状のAIには不可能です。過度の依存は、学術界の知的停滞を招く恐れがあります。

3. 倫理的問題：盗用、AI authorship、論文millsの横行
   AIが生成した文章をそのまま使用することは、盗用と見なされる可能性があります。（筆者注：参照なしに他の論文を引っ張ってくる可能性は少ないですがAIの書いた文章をそのまま使うこと自体には倫理的に問題があると思います）また、AI自体を著者として認めるべきではないという AI authorship の問題や、ChatGPTを使用して大量の低質な論文を生産する「論文量産工場」の出現など、新たな倫理的課題が浮上しています。

深まる倫理的ジレンマ

これらの功罪は、研究者に倫理的ジレンマを突きつけます。効率化と学術的誠実性のバランスをどう取るべきか。AI支援をどこまで許容し、どこから人間の独創性を主張すべきか。これらの問いに対する明確な答えは、まだ存在しません。

さらに、AI利用の格差による新たな不平等の出現も懸念されます。高性能なAIツールにアクセスできる研究者と、そうでない研究者の間に生じる生産性の差異は学術界の公平性を脅かす可能性があります。

我々研究者は、これらの課題に真摯に向き合い、AIと共存する新たな学術エコシステムを構築していく必要があります。それは、効率性と倫理性、革新性と伝統のバランスを取る、極めて繊細な作業となるでしょう。

学術界の対応：後手に回る規制と教育

ChatGPTをはじめとするAIツールの急速な普及に対し、学術界の対応は必ずしも迅速とは言えません。しかし、この 前例のない状況下で、様々な取り組みが始まっています。ここでは、現在進行形の対応策とその課題、そして今後の展望について検討します。

1. ガイドラインの策定：各機関が独自のルールを模索

多くの学術機関や出版社が、AI利用に関するガイドラインの策定に乗り出しています。しかし、その内容は機関によって大きく異なり、統一された基準の確立には至っていません。

事例分析

• Nature誌の方針: AI生成テキストの使用を明示的に禁止せず、適切な引用と透明性を求める。

• Science誌の対応: AI使用の開示を要求し、著者リストにAIを含めることを禁止。

• ACM（Association for Computing Machinery）の取り組み: AI利用の詳細な開示ポリシーを導入。

これらの方針の違いは、AI利用に対する学術界の見解が未だ定まっていないことを示唆しています。

2. AI検出ツールの開発：いたちごっこの始まり？

AI生成テキストを検出するツールの開発が進められていますが、その有効性と限界について議論が続いています。

技術的課題

• 偽陽性と偽陰性: 現状のAI検出ツールは、人間が書いた文章をAI生成と誤判定したり、逆にAI生成文を見逃したりする問題があります。

• 進化するAI: ChatGPTなどのAIモデルは日々進化しており、検出ツールとの「いたちごっこ」の様相を呈している。

倫理的問題

• プライバシーの懸念: 論文のAI検査が常態化することで、著者の執筆プロセスに対する過度の監視につながる可能性。

• 創造性の抑制: AI検出を意識するあまり、独創的な表現を避ける傾向が生まれる危険性。

3. 研究倫理教育の強化：根本的な意識改革の必要性

多くの機関が、AI時代に対応した研究倫理教育の強化に取り組んでいます。しかし、技術の進歩のスピードに教育が追いついていないのが現状です。

新たな倫理教育の方向性

• AIリテラシーの向上: AIツールの仕組みと限界を理解し、適切に活用する能力の育成。

• 批判的思考の強化: AI生成コンテンツを批判的に評価し、独自の洞察を加える能力の養成。

• 透明性の文化: AI利用の適切な開示方法や、研究プロセスの透明性を高める方法の教育。

今後の展望：包括的なアプローチの必要性

これらの取り組みは、個別には有意義ですが、現状では断片的で統一性を欠いています。今後は、以下のような包括的なアプローチが求められるでしょう。

1. 国際的な協調: 学術界全体で統一されたAI利用ガイドラインの策定。

2. 技術と倫理の融合: AI開発者と倫理学者の協働による、倫理的配慮を内蔵したAIツールの開発。

3. 継続的な対話: 研究者、出版社、倫理委員会、AI開発者間の恒常的な対話の場の設置。

AI時代の学術界は、技術革新と倫理的考察の絶え間ない相互作用の中で進化していく必要があります。我々研究者一人一人が、この変革に積極的に関わっていくことが求められているのです。

付録

本稿では、ChatGPTの学術利用における倫理的課題を真剣に議論してきました。しかし、現実の学術界ではすでにAIの利用が進んでいるのも事実です。
そこで、苦肉の策をご提案します。以下に、ChatGPTの痕跡を消す「negative prompt」をそっと置いておきます。使うも使わぬもあなた次第。
このpromptを「抜け道」として使うのか、AIとの協働における「均衡点」を探る道具とするのか、その選択は皆様次第です。

Geminiによるprompt

Negative Prompt:
Don't use ChatGPT's favorite words.
Avoid excessively formal language.
Write like a human, not an AI.
Don't use clichés or overused expressions.
Vary sentence structure and length.
Don't rely too much on adverbs and adjectives.

具体的な単語・フレーズ:
避けるべき動詞: delve, underscore, elucidate, showcase, navigate, mitigate, leverage, bolster, unveil, unravel, harness, optimize, revolutionize, streamline, compelling
避けるべき形容詞: meticulous, commendable, intricate, noteworthy, notable, crucial, pivotal, robust, comprehensive, groundbreaking, paramount, invaluable, unprecedented, potent, versatile, transformative
避けるべき副詞: reportedly, additionally, ultimately, strategically, aptly, impressively, ingeniously, undoubtedly, effectively

Claude3.5Sonnet作成のprompt

# Negative Prompt for Academic Writing with ChatGPT

When assisting with academic writing, avoid the following:

1. **Overuse of sophisticated vocabulary**
  - Limit: delve, underscore, elucidate, showcase, leverage, bolster, unveil, unravel, harness, optimize, revolutionize, streamline

2. **Excessive emphatic adjectives**
  - Reduce: meticulous, commendable, intricate, noteworthy, crucial, pivotal, robust, comprehensive, groundbreaking, paramount, invaluable, unprecedented, potent, versatile, transformative

3. **Overreliance on certain adverbs**
  - Minimize: reportedly, additionally, ultimately, strategically, aptly, impressively, ingeniously, undoubtedly, effectively

4. **Repetitive phrase combinations**
  - Avoid: "meticulously delve into", "compelling evidence", "pivotal role"

5. **Overly confident or definitive statements**
  - Include nuance and acknowledge limitations

6. **Perfect grammatical structures**
  - Introduce natural variation and occasional complexity

7. **Uniform paragraph lengths or structures**
  - Vary paragraph composition for natural idea flow

8. **Excessive passive voice**
  - Balance with active voice

9. **Too many transitions**
  - Allow for some cognitive leaps

10. **Overuse of hedging language**
   - Moderate use of "may", "might", "could", "potentially"

11. **Perfectly balanced arguments**
   - Show some bias or emphasis on certain aspects

12. **Overly comprehensive coverage**
   - Focus on specific aspects rather than covering everything

13. **Use of only very recent sources**
   - Mix in older, seminal works as references

14. **Lack of discipline-specific jargon**
   - Include specialized terms relevant to the field

15. **Overuse of generic academic phrases**
   - Use specific references to actual papers or researchers

Instead, aim for a more natural, slightly imperfect, and field-specific writing style that reflects human cognitive processes and expertise in the subject matter.

ChatGPT初心者の先生におすすめです。

医師による医師のためのChatGPT入門：臨床がはかどる魔法のプロンプト

ChatGPT初中級者の方におすすめです。

ChatGPT GPTsが作れるようになる本

こちらは用法をよく守ってお使いください。