見出し画像

論文の査読をLLMでサッと済ませると何が起きるか

しらいはかせ(Hacker作家)

論文をLLMの助力で書く事はできる。
という話と、査読もLLMでできる、という話は等価ではなかったという話。

久しぶりに和文論文の査読を受けた

とある先生に頼まれて、数年ぶりに査読を受けました。
国際会議の査読はそこそこに応じてきていたのですが、和文論文を殆ど書かない私にとって、査読は受けても査読して貰う可能性が殆ど無いし、所属学会も少しづつ減らしている現状です。そんな私に回ってくる査読案件はとても難度が高い案件でした。

もとから芸術科学の境界領域の論文がまわってくることが多いのです。
毎回、真剣に真剣に査読をするので、わかっている先生だけ私に頼む、そんなところでしょうか。

LLM登場以降、初の和文論文査読

そんなわけで今回、久しぶりに和文論文査読を担当しました。
ちょうどChatGPT3.5をはじめとするLLMが一般化してからはじめての和文論文でしょうか。私自身は論文執筆や論理構築にLLMを使うことはあっても執筆そのものにLLMを使ったことはありません。ブログも年間700本書いている計算ですが、LLMは使いません。使っても面白くなるレベルの原稿生成は出来ない、というのが現状の結論で、実際に書き物を伴走してもらったとしても、全部書き直すのであれば、それは最初の方向性だけという程度になるでしょう。

LLMを使った論文執筆と査読の違い

論文の執筆の場合はもっと戦略的に使うことができます。
例えばアブストラクトを書いた時点で「この論文概要からタイトルを生成して」とか「この論文概要をリジェクトするつもりで査読者コメントを書いて」とか「建設的な査読コメントを書いて」とかいったプロンプトを与えれば、論文の改善に役立つ生成がたくさん生まれます。

ChatGPT4だけでなく、Claude、Google(Gemini) AI Studioなどはロングコンテキストを受け入れられますのでけっこう長い論文を食べてくれます。

https://twitter.com/o_ob/status/1784080769025262031

しかしちょっと待って、
（私は査読にLLMを使おうとしてはたと我にかえりました）

論文の査読にLLMって使っていいんだっけ？

問題点をいくつか投げておきますね。

(1)未発表論文をLLMサービスにアップロードする権利はない

例えばChatGPTとか、学習に使うか使わないか、きっちり設定しているならいいんですけど、食わせたテキストが学習に使われたら困る話もあるのでは。

ざっくりいうと、ローカルLLMか、メジャーサービスではClaudeで明示的にオプトアウトしないと査読には使えないということになるかも。

(2) LLMで判定できる内容なら人間いらんのでは

実験的にClaudeとかローカルLLMに頂いた論文を評価させてみたんです。流れはこんな感じ。
2-1: LLMに読み込ませる
2-2: 「この論文の概要を述べてください」
2-3: 「査読者としてこの論文のリジェクト理由を建設的に述べてください」
場合によってはここに学会の論文委員会から頂いた査読フォームを食わせて
2-4: 「以下の査読フォームを埋めてください」
とリクエストすると、流暢に査読を始めるLLM。
5段階評価とかもちゃんと埋めてくるんです。いやまずいでしょこれ。
何がまずいって「LLMで判定できるなら人間いらんのでは」っていう判断がないけど、特に倫理的に定めもないし、効率だけ考えたら査読をLLM二お願いしちゃう先生もいるだろうなってこと。
一方では「大学のレポートでLLMを使ってはいけません」っていう大学もあるわけで。

小学生でもわかるような話として、文科省はこんな指針を持っています。

以上を踏まえ、教育利⽤に当たっては、利⽤規約の遵守はもとより、事前に⽣成AIの性質やメリット・デメリット、AIには⾃我や⼈格がないこと、⽣成AIに全てを委ねるのではなく⾃⼰の判断や考えが重要であることを⼗分に理解させることや、発達の段階や⼦供の実態を踏まえ、そうした教育活動が可能であるかどうかの⾒極めが重要と考えられる。その上で、個別の学習活動での活⽤の適否については、学習指導要領に⽰す資質・能⼒の育成を阻害しないか、教育活動の⽬的を達成する観点で効果的か否かで判断すべきである（⽣成AIの性質等を理解できない段階、学習⽬的達成につながらない、適正な評価の阻害や不正⾏為に繋がる等の場合は活⽤すべきでない）。こうした判断を適切に⾏うためには教師の側にも⼀定のAIリテラシーが必要である。また、忘れてはならないことは、真偽の程は別として⼿軽に回答を得られるデジタル時代であるからこそ、根本に⽴ち返り、学ぶことの意義についての理解を深める指導が重要となる。また、⼈間中⼼の発想で⽣成AIを使いこなしていくためにも、各教科等で学ぶ知識や⽂章を読み解く⼒、物事を批判的に考察する⼒、問題意識を常に持ち、問を⽴て続けることや、その前提としての「学びに向かう⼒、⼈間性等」の涵養がこれまで以上に重要になる。そうした教育を拡充するためには、体験活動の充実をはじめ、教育活動におけるデジタルとリアルのバランスや調和に⼀層留意する必要がある。

(3) 学会の良識は学会が決めること

LLMは言語モデル。知識ではあるけれど、知能ではない。
LLMはインテリジェンスと呼ぶのは定義としては理解するけど、AIであってA-LIFEではない。これは知識であって知能だけど意識ではない。知であり能力ではあるけれど真偽とか意識とか良心とか良識とは直接関係がない。社会通念における善悪はともかく、学会の良識は学会が定めるべきだろ。学者なのにそんなこともわからんのか、ということ。


ここまで書いても具体的な例がないとわからないかもしれない。
自分も、普通に書かれた普通に良い論文を査読しているだけだと気づかなかったと思う。

問題は採択論文じゃない、不採択論文に対する戻し

「不採択」の場合、「不採択」である旨の著者への説明が必要になります。
正直なところ、このタスクはLLMにとっては得意かもしれない。
・内容の大幅な修正は必要ですか？
・一度の修正で受理要件を満たすことは不可能ですか？
・その誤りを明確にしましたか？
・新規性を指摘した場合、その先行事例を明確に特定しましたか？
→これはLLMの推論データが正しいかどうか査読者が責任を持つ

他にも、こんな要素がある。これらは人間の査読者、特に専門分野をともにする研究者によってピアレビューが行われるべきで内容であることは言うまでもありません。

・本学会で扱う分野と大きくかけはなれています
・本質的な点に誤りがあります
・内容に信頼できる根拠が示されていません。
・本学会関連の学術や技術の発展のための有効性が不明確です。

査読者は教育的視点に立ってレビューを戻す義務があるのでは

僕自身は過去にこっ酷いパワハラみたいな査読返戻コメントを頂いたことが1度あります。人格否定みたいな印象で「この著者はまともな教育を受けていない」とか「共著者はきちんと指導してください」みたいなコメントでした。
そんなコメントを貰ったら、教育機関に所属しているにも関わらず、まともな教育を指導をされていないことを公然と指摘されることになるし、共著者が名ばかり参加しているだけで、全然論文を見ていないってことを指摘されていることになる。そもそも査読者側だって著者の所属や名前で論文を評価しているってことで、論文の中身で評価していないかも、というところにも至る（学会によっては著者を伏せて査読することになっているが…）。

自分が若いときの論文だから、いまはそんなコメントをもらうこともないけれど、あのときの査読者（誰かは想像がつく）は、もうちょっと言葉を選ぶべきではなかっただろうか。
リジェクトだろうと条件付き採択だろうと、建設的なコメントを書こう。これが大前提ではないか。コメントを書いて解決できればそれで受理何だから、逆言えば、コメントに書いたって解決できないような話をコメントに書くのはただのハラスメントでしかない。

そんなわけで、ぼくはこのトラウマを背負いながら、どうしようもなく酷い論文の査読を受けてしまったときも、丁寧に丁寧に不採択コメントを書く。
まあ、論文本体よりも長くなっちゃうことだってある。ダメだと思うけど。

そもそも査読がめちゃくちゃ遅くて、待って待って待った挙げ句「この研究は前例がないから」みたいな理由でリジェクトされたら辛いじゃないですか。先生方の査読戻すスピードと品質が上がるならLLMを限定的に使う方法もありかとは思うけど。

どんな不採択コメントを書くか。

冒頭に書いた通り、LLMを使わない。
使うなら、論法だけにする。具体的な論文の内容をLLMにいれるのは何が起きるのかわからない危険性がある。そもそも守秘義務違反かなと（そんな契約をした覚えはないけど）。

もし興味があるひと、とりあえず論法だけ列挙しておくのでお手頃なLLMにでも突っ込んでみてください。

・冒頭に判決を述べる。
・もしこの状態で条件付き採択となったら、どんな重責が著者に発生するかを述べる。
・もしこの状態で無条件採択となったら、どんな不利益があるかを述べる。
・採択論文の例を列挙する。参考文献として数件列挙する。
・上記論文と提案論文の関係を査読者なりに紐づけてみる
・論文における仮説を評価する。基本的に否定しない。その仮説でうまくいく可能性がある要素に寄り添ってみる。
・上記の寄り添いに対して、実験方法をいくつか提案してみる。それによって予想される結果も一応考えてみる。
・それによって構築できそうな論を想像してみる（これは書かない）
・そもそもそれで提案できそうな論を、論文がないか、もう一度検索してみる。
・産業分野でも似たような価値が無いか検索してみる。価値があるならある、ないならないで、可能性がある。
・論理展開の裏や対偶も考える
・なぜXXである必要があるのか
・なぜXXでなければできないのか
・XXであるリスクと評価
・本論文における提案と評価手法についての深堀り（評価の評価）
・後進の研究者への提言

とにかく仮説（Hypothesis）があればなんとかなるかもしれないんだ

あとは「再現性」

日本科学未来館にいた時に、様々な科学分野の出身科学コミュニケーターと触れていた。横断的な「科学」を考えた時に、コンピュータサイエンスやメディアアート、コンテンツ系の研究者の卵が忘れがちな点が「再現性」だ。
科学は再現できる。実証性、再現性、客観性。
といった当たり前の科学としての要素が、見落とされていることがある。

再現性がなければ実証することは難しい。客観性も維持できない。
ワークショップだろうがコミュニケーションだろうが、人文科学だったとしても、再現性がありそうな話ならそれで成立するんだ。でも書き手が「再現性がない」というスタンスで書いてしまったら、査読者としては拾えない。

思う、感じる、考える、っていうワードも「再現性」があってこそなんじゃないかなと思う。
この話は再現性がある。みんなこの手法で査読コメントを書いてください。

リジェクトするなら愛あるコメントで終わろう

採択論文はいいんだよ、こいつらはこれからも良い論文を書くだろう。
でも微妙な論文を投稿してきた論文書きの初心者をどういう形でリジェクトするのかで人間性や、その学会の未来が変わると思う。
できるだけ愛あるコメントで終わろう。
「愛ってなんだ」わかる。お前は研究者だ。
いいから愛しとけ、それこそLLM生成でいいから。

ぼくはこんな感じで書くことにしている。

I have written the above review comments, and I strongly share your passion for writing papers, your thoughts on other prior works, and the challenge of taking on a theme of such a high degree of importance. Please do not be discouraged by the results of this peer review and continue to produce many new works. There are many worlds that can only be sharpened by continuing to create, write papers, and feel the friction with others. I would be happy if I could come in contact with your future works.

以上、査読コメントを書かせていただきましたが、論文執筆への情熱、他の先行作品への思い、そしてこのような重要度の高いテーマへのチャレンジに強く共感しました。今回の査読結果にめげず、これからも多くの新作を生み出してください。創作を続け、論文を書き、他者との摩擦を感じ続けることでしか研ぎ澄まされない世界がたくさんあります。皆さんの今後の作品に触れることができれば幸いです。

（日本語意訳）

リジェクトされる論文著者に対する、愛がなんだかはわからないとして、
ぼくはこの著者が、リジェクトされて逆上することが怖いんじゃなくて、本当に怖いのは、査読が教育的な行為として機能しなくなったとしたら、論文を書くことはただの自己満足になるってこと。他者がピアレビューしてその論文を研ぎ澄ます事が可能だから成立する。直接の師弟関係がない著者と査読者が二人三脚で共通のテーマで真剣に研ぎ澄ますから成立する。

「arXivに置いてある何か」も論文ではあるけれど、やはり査読付き和文論文にもいいところはあるよ。1年かけて頑張って書いた卒論とか、修士論文とか、血ヘド吐きながら書いた博士論文とか尊い。俺に読ませろ。

以上、査読に慣れて無くてごめんなさい＞依頼された先生、学会の皆様、著者のみなさま

そんなわけで私に気軽に査読をお願いしないでください。切にお願い。

すべての著者に向けて、拝。

この記事が気に入ったらサポートをしてみませんか？