英語論文校正ツール比較！Paperpal vs Writeful vs Grammarly vs ChatGPT
以前Natureから出ていた論文執筆補助ツールの紹介においてPaperpal、Writefulが取り上げられていましたが、英文校正ツールの定番にはGrammarlyがあり、ChatGPTの登場でどのツールを使えばよいのか迷っている方も多いと思います。そこで今回はこの4つの英文校正ツールを使って比較してみました。
まず結論
ChatGPT が文法だけでなくコンテキストを汲んだ校正をしてくれるので優勝、次にPaperpal、Writefulが同率2位、Grammarlyは英語論文に限ると1ランク落ちます。ただしChatGPTは改変されすぎて本来の意図と変わってしまうことがあり注意が必要で、Wordのアドインが無いので参考文献などを埋め込んでいると校正が不便なことがあります。
実際の文章で比較
以下のPaperpalのデモに出てくる文章を4つのサービスで校正してもらいます。
Nutritional Care Plans for Participants With Malnutrition or Dysphagia
As the initial step of nutritional care, the dietitians conducted a screening for malnutrition (body mass index [BMI] <18.5 kg/m2 or weight loss per six months ≥2%) and dysphagia. They then assessed the in-home dietary intake of participants via interviews at the time of the ambulatory rehabilitation service. If necessary, dietitians also visited the participants’ homes. The dietitians then created nutritional care plans for each participant based on the results of the assessments. For participants who were at higher risk of dysphagia, an oral intake plan was also provided.
To improve the matching of baseline characteristics between groups, caliper matching was performed. Of the participants included in the main analysis, 96 participants in the intervention group and 287 participants in the control group were selected by propensity score matching with the caliper.
以下出力結果です。上がオリジナル、下が校正後。
こちらを使って比較しています。
Paperpal
Writeful
Full Edit modeでやっていますがほとんど変わっていないですね
Grammarly
こちらはClarityの項目が三つほど出ましたが修正必須ではなく見送りました。
ChatGPT（GPT-3.5）
下記promptで校正しました。
Please review and edit the following scientific paper for grammatical accuracy, spelling, and clarity.
The target journal for this paper is the Journal of Nutrition Care and the intended audience is medical professionals.
Please only provide the revised and improved version of the text and refrain from including any additional comments or feedback.
ChatGPT（GPT-4）下記promptで校正しました。
Role: Proofreader
Journal: Journal of Nutritional Care
Revision Degree: Light
Editing Goal: Simplify language for clarity while maintaining scholarly style and uniformity
Desired Style: Scholarly, suitable for PhD-level writing but accessible to a wider audience
Tone: Analytical
Audience: Experts in the field who may also appreciate less technical jargon
Provide
Text for Editing: 
私はnativeで無いので、はっきりとは分かりませんが個人的にはChatGPT の文章が分かりやすいような気がします。
私の印象の評価だけだとイマイチなのでChatGPT にアカデミックライティングの重要な要素を聞いて、その6項目について10点づつの配点で評価をしてもらいました。（ChatGPT にはtext #1-4ということでブラインドで評価してもらっています）ほとんど変化の無いWritefulとGrammarlyは除いて、Original, Paperpal, GPT-3.4, GPT-4の文章を評価してもらいました。
ChatGPT の評価は以下の通りです(手動でtextにそれぞれの校正元を振っています)。Paperpal抑えてChatGPTが優勝となりました。
Sure, here are the ratings for each of the six aspects for the three texts you provided:
Text #1 Original 45/60
Clarity: 8/10
Precision: 8/10
Conciseness: 7/10
Coherence: 8/10
Variety: 6/10
Grammar and syntax: 8/10
Text #2 Paperpal 51/60
Clarity: 9/10
Precision: 9/10
Conciseness: 9/10
Coherence: 9/10
Variety: 6/10
Grammar and syntax: 9/10
Text #3 ChatGPT（GPT-3.5） 52/60
Clarity: 9/10
Precision: 9/10
Conciseness: 9/10
Coherence: 9/10
Variety: 7/10
Grammar and syntax: 9/10
Text #3 ChatGPT（GPT-4） 57/60
Clarity: 10/10
Precision: 9/10
Conciseness: 9/10
Coherence: 10/10
Variety: 9/10
Grammar and syntax: 10/10
CHatGPT校正をさらに便利にするツール
ChatGPTを校正に使う場合に便利なツールがあります。下記のeditGPTは校正箇所を提示してくれます。
ChatGPTを使用すると、大幅な変更が加わる場合があります。 editGPT の分析ダッシュボードを使用すると、 どのテキストが削除されたかを確認し、不満な変更を拒否できます。 またプレーンなテキストでコピー アンド ペーストすることもできます。
下記にChatGPTとGrammarlyの比較があります。ChatGPTの方がオリジナルからだいぶかけ離れてブラッシュアップされてしまうことが指摘されています。（ただしこれは人力の校正サービスでも時折ありますね）軽めの校正は"Proofread this but only fix grammar" 大幅な校正は”Proofread this improving clarity and flow:”のpromptが紹介されています。
PaperpalとWritefulにはあまり差がない
Bingのソースの3番目にPaperpalのブログ記事があり、その中で5つの校正ツールの比較を行っていました。詳細はリンクのPDFを参照ください
Paperpalのブログなので、COIありまくりですが、概ねPaperpalとWritefulにはあまり差がないように思います。Instatextの成績が良いですが、こちらは有料でないとほぼ使えないようです。
今回の試した文章ではWritefulの校正箇所はほとんどありませんでしたが、自分の文章でやってみると、Paperpalとの指摘の質には大差がないように思います。また、Writefulはイギリス英語とアメリカ英語の選択ができるので、そこは気に入っています。Grammarlyはイギリス英語なのと受動態を能動態に直す様指摘されたり、専門用語も正しくspellしていても校正を推奨されるのであまり論文には向かないのかもしれません（Chromeの拡張機能で一般的な英語の修正では助かってます）。
Paperpal, WritefulはWordのアドインで使えますので、参考文献ソフトで引用文献を挿入していても校正が可能であり、これはChatGPTにはないメリットだと思います。ChatGPTを使う場合には参考文献を入れる前に校正を済ませる必要がありますね。ただし今後、WordへのOpenAIのChatGPT 相当のAI搭載が予定されていますので、こういった校正ツールも不要になる時代が来るかもしれません。
ChatGPT は英文校正だけでなく論文のドラフトも書いてくれます。よろしければ下記の記事もご覧ください（すみませんが有料記事です）
英文校正についての記事はこちら
ChatGPT英語の翻訳機能を引き出すにはこちら
ChatGPTのAPIやLangChainなどの使い方についてnpakaこと布留川さんがまとめられた書籍。Noteより解説が丁寧で初学者にも分かりやすいです。
この記事が気に入ったらサポートをしてみませんか？