論文の査読をLLMでサッと済ませると何が起きるか
論文をLLMの助力で書く事はできる。
という話と、査読もLLMでできる、という話は等価ではなかったという話。
久しぶりに和文論文の査読を受けた
とある先生に頼まれて、数年ぶりに査読を受けました。
国際会議の査読はそこそこに応じてきていたのですが、和文論文を殆ど書かない私にとって、査読は受けても査読して貰う可能性が殆ど無いし、所属学会も少しづつ減らしている現状です。そんな私に回ってくる査読案件はとても難度が高い案件でした。
もとから芸術科学の境界領域の論文がまわってくることが多いのです。
毎回、真剣に真剣に査読をするので、わかっている先生だけ私に頼む、そんなところでしょうか。
LLM登場以降、初の和文論文査読
そんなわけで今回、久しぶりに和文論文査読を担当しました。
ちょうどChatGPT3.5をはじめとするLLMが一般化してからはじめての和文論文でしょうか。私自身は論文執筆や論理構築にLLMを使うことはあっても執筆そのものにLLMを使ったことはありません。ブログも年間700本書いている計算ですが、LLMは使いません。使っても面白くなるレベルの原稿生成は出来ない、というのが現状の結論で、実際に書き物を伴走してもらったとしても、全部書き直すのであれば、それは最初の方向性だけという程度になるでしょう。
LLMを使った論文執筆と査読の違い
論文の執筆の場合はもっと戦略的に使うことができます。
例えばアブストラクトを書いた時点で「この論文概要からタイトルを生成して」とか「この論文概要をリジェクトするつもりで査読者コメントを書いて」とか「建設的な査読コメントを書いて」とかいったプロンプトを与えれば、論文の改善に役立つ生成がたくさん生まれます。
ChatGPT4だけでなく、Claude、Google(Gemini) AI Studioなどはロングコンテキストを受け入れられますのでけっこう長い論文を食べてくれます。
https://twitter.com/o_ob/status/1784080769025262031
しかしちょっと待って、
(私は査読にLLMを使おうとしてはたと我にかえりました)
論文の査読にLLMって使っていいんだっけ?
問題点をいくつか投げておきますね。
(1)未発表論文をLLMサービスにアップロードする権利はない
例えばChatGPTとか、学習に使うか使わないか、きっちり設定しているならいいんですけど、食わせたテキストが学習に使われたら困る話もあるのでは。
ざっくりいうと、ローカルLLMか、メジャーサービスではClaudeで明示的にオプトアウトしないと査読には使えないということになるかも。
(2) LLMで判定できる内容なら人間いらんのでは
実験的にClaudeとかローカルLLMに頂いた論文を評価させてみたんです。流れはこんな感じ。
2-1: LLMに読み込ませる
2-2: 「この論文の概要を述べてください」
2-3: 「査読者としてこの論文のリジェクト理由を建設的に述べてください」
場合によってはここに学会の論文委員会から頂いた査読フォームを食わせて
2-4: 「以下の査読フォームを埋めてください」
とリクエストすると、流暢に査読を始めるLLM。
5段階評価とかもちゃんと埋めてくるんです。いやまずいでしょこれ。
何がまずいって「LLMで判定できるなら人間いらんのでは」っていう判断がないけど、特に倫理的に定めもないし、効率だけ考えたら査読をLLM二お願いしちゃう先生もいるだろうなってこと。
一方では「大学のレポートでLLMを使ってはいけません」っていう大学もあるわけで。
小学生でもわかるような話として、文科省はこんな指針を持っています。
(3) 学会の良識は学会が決めること
LLMは言語モデル。知識ではあるけれど、知能ではない。
LLMはインテリジェンスと呼ぶのは定義としては理解するけど、AIであってA-LIFEではない。これは知識であって知能だけど意識ではない。知であり能力ではあるけれど真偽とか意識とか良心とか良識とは直接関係がない。社会通念における善悪はともかく、学会の良識は学会が定めるべきだろ。学者なのにそんなこともわからんのか、ということ。
ここまで書いても具体的な例がないとわからないかもしれない。
自分も、普通に書かれた普通に良い論文を査読しているだけだと気づかなかったと思う。
問題は採択論文じゃない、不採択論文に対する戻し
「不採択」の場合、「不採択」である旨の著者への説明が必要になります。
正直なところ、このタスクはLLMにとっては得意かもしれない。
・内容の大幅な修正は必要ですか?
・一度の修正で受理要件を満たすことは不可能ですか?
・その誤りを明確にしましたか?
・新規性を指摘した場合、その先行事例を明確に特定しましたか?
→これはLLMの推論データが正しいかどうか査読者が責任を持つ
他にも、こんな要素がある。これらは人間の査読者、特に専門分野をともにする研究者によってピアレビューが行われるべきで内容であることは言うまでもありません。
・本学会で扱う分野と大きくかけはなれています
・本質的な点に誤りがあります
・内容に信頼できる根拠が示されていません。
・本学会関連の学術や技術の発展のための有効性が不明確です。
査読者は教育的視点に立ってレビューを戻す義務があるのでは
僕自身は過去にこっ酷いパワハラみたいな査読返戻コメントを頂いたことが1度あります。人格否定みたいな印象で「この著者はまともな教育を受けていない」とか「共著者はきちんと指導してください」みたいなコメントでした。
そんなコメントを貰ったら、教育機関に所属しているにも関わらず、まともな教育を指導をされていないことを公然と指摘されることになるし、共著者が名ばかり参加しているだけで、全然論文を見ていないってことを指摘されていることになる。そもそも査読者側だって著者の所属や名前で論文を評価しているってことで、論文の中身で評価していないかも、というところにも至る(学会によっては著者を伏せて査読することになっているが…)。
自分が若いときの論文だから、いまはそんなコメントをもらうこともないけれど、あのときの査読者(誰かは想像がつく)は、もうちょっと言葉を選ぶべきではなかっただろうか。
リジェクトだろうと条件付き採択だろうと、建設的なコメントを書こう。これが大前提ではないか。コメントを書いて解決できればそれで受理何だから、逆言えば、コメントに書いたって解決できないような話をコメントに書くのはただのハラスメントでしかない。
そんなわけで、ぼくはこのトラウマを背負いながら、どうしようもなく酷い論文の査読を受けてしまったときも、丁寧に丁寧に不採択コメントを書く。
まあ、論文本体よりも長くなっちゃうことだってある。ダメだと思うけど。
そもそも査読がめちゃくちゃ遅くて、待って待って待った挙げ句「この研究は前例がないから」みたいな理由でリジェクトされたら辛いじゃないですか。先生方の査読戻すスピードと品質が上がるならLLMを限定的に使う方法もありかとは思うけど。
どんな不採択コメントを書くか。
冒頭に書いた通り、LLMを使わない。
使うなら、論法だけにする。具体的な論文の内容をLLMにいれるのは何が起きるのかわからない危険性がある。そもそも守秘義務違反かなと(そんな契約をした覚えはないけど)。
もし興味があるひと、とりあえず論法だけ列挙しておくのでお手頃なLLMにでも突っ込んでみてください。
・冒頭に判決を述べる。
・もしこの状態で条件付き採択となったら、どんな重責が著者に発生するかを述べる。
・もしこの状態で無条件採択となったら、どんな不利益があるかを述べる。
・採択論文の例を列挙する。参考文献として数件列挙する。
・上記論文と提案論文の関係を査読者なりに紐づけてみる
・論文における仮説を評価する。基本的に否定しない。その仮説でうまくいく可能性がある要素に寄り添ってみる。
・上記の寄り添いに対して、実験方法をいくつか提案してみる。それによって予想される結果も一応考えてみる。
・それによって構築できそうな論を想像してみる(これは書かない)
・そもそもそれで提案できそうな論を、論文がないか、もう一度検索してみる。
・産業分野でも似たような価値が無いか検索してみる。価値があるならある、ないならないで、可能性がある。
・論理展開の裏や対偶も考える
・なぜXXである必要があるのか
・なぜXXでなければできないのか
・XXであるリスクと評価
・本論文における提案と評価手法についての深堀り(評価の評価)
・後進の研究者への提言
とにかく仮説(Hypothesis)があればなんとかなるかもしれないんだ
あとは「再現性」
日本科学未来館にいた時に、様々な科学分野の出身科学コミュニケーターと触れていた。横断的な「科学」を考えた時に、コンピュータサイエンスやメディアアート、コンテンツ系の研究者の卵が忘れがちな点が「再現性」だ。
科学は再現できる。実証性、再現性、客観性。
といった当たり前の科学としての要素が、見落とされていることがある。
再現性がなければ実証することは難しい。客観性も維持できない。
ワークショップだろうがコミュニケーションだろうが、人文科学だったとしても、再現性がありそうな話ならそれで成立するんだ。でも書き手が「再現性がない」というスタンスで書いてしまったら、査読者としては拾えない。
思う、感じる、考える、っていうワードも「再現性」があってこそなんじゃないかなと思う。
この話は再現性がある。みんなこの手法で査読コメントを書いてください。
リジェクトするなら愛あるコメントで終わろう
採択論文はいいんだよ、こいつらはこれからも良い論文を書くだろう。
でも微妙な論文を投稿してきた論文書きの初心者をどういう形でリジェクトするのかで人間性や、その学会の未来が変わると思う。
できるだけ愛あるコメントで終わろう。
「愛ってなんだ」わかる。お前は研究者だ。
いいから愛しとけ、それこそLLM生成でいいから。
ぼくはこんな感じで書くことにしている。
リジェクトされる論文著者に対する、愛がなんだかはわからないとして、
ぼくはこの著者が、リジェクトされて逆上することが怖いんじゃなくて、本当に怖いのは、査読が教育的な行為として機能しなくなったとしたら、論文を書くことはただの自己満足になるってこと。他者がピアレビューしてその論文を研ぎ澄ます事が可能だから成立する。直接の師弟関係がない著者と査読者が二人三脚で共通のテーマで真剣に研ぎ澄ますから成立する。
「arXivに置いてある何か」も論文ではあるけれど、やはり査読付き和文論文にもいいところはあるよ。1年かけて頑張って書いた卒論とか、修士論文とか、血ヘド吐きながら書いた博士論文とか尊い。俺に読ませろ。
以上、査読に慣れて無くてごめんなさい>依頼された先生、学会の皆様、著者のみなさま
そんなわけで私に気軽に査読をお願いしないでください。切にお願い。
すべての著者に向けて、拝。
この記事が気に入ったらサポートをしてみませんか?