ジャーナルクラブにClaude 3を使用してみたら・・・その言語処理能力がヤバい！！第1回 介入研究の論文要約
主な対象者
本記事では、ジャーナルクラブの準備でどうしたらいいだろう？と迷われたり、時間がない！と思われている医師(研修医や専攻医を含む)をサポートするプロンプトを紹介しています。
ノーコードで出来る内容を扱っています。
#ジャーナルクラブ #抄読会 #Claude #プロンプト #RCT #研修医 #EBM
本記事の画像はAdobe Fireflyを用いて生成しました。
はじめに——生成AIとジャーナルクラブ
2022年11月にChatGPTが公開されてから、生成AIについて話題にならない日がないくらい盛り上がりを見せており、かつすさまじい速さで進化しており、他に仕事を持つ人間にとっては追いつくのも容易ではありません。
ChatGPT以外にも様々な生成AIが公開されており、アップデートもますます大変な状況となっていますが、2024年3月にClaude 3が公開され、その言語処理能力の高さが話題となりました。GPT-4を上回る性能と多くのWebサイトや動画で紹介されています。
臨床の現場でその高い言語処理能力を活用する領域として、ジャーナルクラブに注目しました。ジャーナルクラブは150年以上も前から存在する学習手法で、新しい情報を得る、双方向的な学習の機会となるなどのメリットが知られていますが、忙しい臨床現場では準備も大変だし、そもそもメンバーが集まるのも難しいことも多いです。
この4月から研修を開始する研修医や専攻医の皆さんも、日々の研修で忙しい中でジャーナルクラブの準備までするとなると、何をどうする？どのくらい時間がかかる？と不安を感じておられるかもしれないですね。
生成AI(ここでは、Perplexityを使用)に、生成AIがジャーナルクラブに与える影響について尋ねてみたところ、①論文の要約が強化され議論しやすくなる、②文献検索が自動化され質が改善する、③ディスカッションポイントを準備しより深い議論がしやすくなるなど、数多くのメリットが得られ、より効率的、対話的、有益なものになる可能性があるとの回答が得られました。
https://www.perplexity.ai/search/how-has-generative-UPh218GT42YLGWuiiuzQw
以下では、この③のためにClaude 3を活用するためのプロンプトを紹介します。Claude 3には最も精度の高いOpus、バランス型のSonnet、最も速いHaikuの3つのモデルが存在しますが、無料で利用できる(登録は必要)のはバランス型のSonnetです。このSonnetでの試みを中心に紹介しますが、速く正確に要約してくれます。英語の論文でも、日本語のプロンプトで日本語の回答が高い精度で得られることもポイントです。
RCTの論文を要約する
特にジャーナルクラブに初めて取り組む研修医を含む若手の医師にとって、誰もが知っている超有名なジャーナルの論文、中でもRCT(Randomized Controlled Trial; 無作為割り付け試験)を選択することが多いのではないかと思います。そのRCTの論文をClaudeに添付して、以下のプロンプトをコピペすると、一瞬でポイントを押さえた要約を作成してくれます。
プロンプトの前に ファイルの添付
ファイルの添付はプロンプトを書く前でも後でも良いですが、その際の注意点です。
添付できるファイルにはサイズの上限があり、1個あたり10Mbまで(あるいは20万トークンまで)ですが、余程図の多いものでなければ大丈夫でしょう。なお、ファイル名が長過ぎても添付できないことがあります。
2024/4/9追記：ファイル名にセミコロン(;)が付いていても添付できないようです。ファイル名をバンクーバー方式(PubMedで記載されている「ジャーナル名．出版年；巻(号)：ページ」の方式)で保存している方は変更して添付する必要があります。
プロンプト① 役割付与と導入
(ここから)
＃あなたは臨床経験豊富で教育能力にも優れた専門医です。論文査読にも優れています。
＃添付したファイルの内容を、教育効果を最大化する目的でまとめてください。
＃以下の指示を実行して下さい。
タイトルと抄録を日本語に翻訳してください。
この論文のPICO(またはPECO)を簡潔にまとめてください。P：対象、I(またはE)：介入(または曝露)、C：比較対象、O：アウトカムを示します。
(ここまで)
まずはAIに役割を与えます。ここでは「臨床経験豊富で教育能力にも優れた専門医」で「論文査読にも優れてい」ると規定します。こうすることで頼れる専門医として振る舞ってくれます。
タイトルと抄録の日本語訳は定番ですね。
次のPICO(またはPECO)がRCTの結果を理解する上でのポイントで、特定の対象者に(P)、ある種の新しい介入を行って(I)、その介入なし(または従来の介入)の場合と比較して(C)、アウトカムがどれだけ違ったのか(O)を問うています。PECOは観察研究で用いられることが多いですが、その場合は上記の「介入」を「曝露」と読み替えてください。
次のプロンプトに進みます。
プロンプト② 内容の中核に踏み込む
(ここから)
＃続けて、以下の指示も実行してください。
論文のテーマについて、以下の内容を要約して下さい。
これまでに分かっていること
この論文が付け加えたこと
将来への示唆
方法の要点
この論文の対象や方法に関する強み
この論文の対象や方法に関する限界
私の施設でこの結果を適用するとどのような影響がありますか？私の施設は日本の(都市部, 郊外, 農村部, 離島 etc.)にある(高度急性期, 一般急性期, 亜急性期・回復期, 慢性期, etc.)を担当する(大学病院, 市中病院, 診療所, etc.)で、(自施設や診療科の特徴、多い患者層など)です。
(括弧内には、当てはまる医療機関の特徴を入力する)
(ここまで)
最近では図での要約があったり、コラムとして「これまでに分かっていること」「この論文が付け加えたこと」「将来への示唆」などが短くまとまっている論文も多くなっていますが、それを独自にまとめて欲しいと指示を出しています。
また、方法(method)の要点は、この書き方だとエッセンスを抽出するレベルの記載となりますが、より詳しく知りたい場合はこのプロンプト②の次に「方法(あるいは、特定の〜〜)についてもっと詳しく教えてください。」と尋ねると教えてもらえます。
最後の「私の施設で〜」の部分は、EBMの5つのステップの4番目である「この情報を自分の患者に適用できるか？」を踏まえたもので、医療機関のセッティングにより代用しています。ジャーナルクラブでは一般論だけでは指導医に響かないこともあるので、一歩踏み込んで自分のセッティングでの適用まで問うています。1.が2つ続いてしまっていますが、誤作動などは起きないので大丈夫です。
ここで注意点ですが、生成AIには一般的に個人情報や企業情報をそのまま入力すると学習材料として利用されてしまう恐れがあります。生成AIによっては学習しないよう指示する方法もありますが、Claude 3では利用されるかどうかは明示されていません。上記のような一般的な表現に留めた方が良いでしょう。
それでは3つ目(最後)のプロンプトです。
プロンプト③ Take Home Messageを得る
(ここから)
＃続けて、以下の指示も実行してください。
特に持ち帰るべき学びのポイントを3,4個の箇条書きにまとめてください。
この論文のキーワードを5つ、ハッシュタグをつけて提示してください。
更に学びたい人へ、引用文献の中でおすすめの論文を3～5個挙げてください。挙げた論文一つひとつに対して、特徴を一文で記載してください。半分以上の論文を、本論文の発表から５年以内のものから選択してください。バンクーバー方式でお願いします。
この論文は、診療ガイドラインの推奨を変える可能性がありますか？GRADEシステムに基づいて検討してください。
この論文をデータベースに保存したいです。バンクーバー方式で記載してください。
(ここまで)
結局、このジャーナルから何を学べるのか？それをまずは箇条書きでまとめてもらいます。続いて、キーワードを挙げてもらいます。
更に学びたい人には、おすすめの引用文献を紹介してもらいます。「本論文の発表から5年以内のもの」との制約は、守られないこともありますが、重要な論文がそれ以前のものであったと割り切りましょう。
ここは本来なら、関連する重要論文を引用と関わりなく挙げて欲しいのですが、ClaudeにはWeb検索機能がなく、それは出来ません。これはジャーナルクラブに参加してくれた指導医に教えてもらいましょう。
新しい論文を読んだとして、それが実際に自分たちの日常診療を変更するインパクトがあるかどうかを考えると、診療ガイドラインが次に改訂される時にその論文の内容が反映されて推奨が変わるかどうかは避けて通れない問いです。ここの4.のプロンプトはその問いに答えるためのものです。Claude 3の秀逸な点は、GRADEシステムについて特に説明しなくても、それに基づいての評価をしてくれることです。
このプロンプトは単独でも使えますが、このプロンプト③を入力する際に、新たに該当する診療ガイドラインも添付して指示をすれば、内容を確認してコメントを返してくれます。初めの論文が英語で、ガイドラインが日本語でも全く問題ありません。ガイドラインのファイルサイズやトークン数には注意して下さい。
そして、ジャーナルクラブで用いた論文をデータベースに登録しておきたい場合は、最後のプロンプトでフォーマットを揃えて記録を残しておけます。末尾にPMIDを付けることも試みたのですが、Claudeの知識が更新された2023年8月以降の論文ではできず、それ以前の論文でもハルシネーションが起きた(つまり、偽のPMIDが提示された)ので諦めました。
終わりに
ここまでのプロンプトを用いることで、ものの数分でジャーナルクラブの発表の骨格が出来上がります。あとは細かい部分の原文との整合性の確認をやったり、必要な図表を用意するなどすれば十分でしょう。Claude 3の言語処理能力は大変優れており添付のPDFファイルの要約という条件なら概ね信頼できるのですが、最後の確認は人間が行う必要があります。その点は忘れないようにしてください。
なお、3つのプロンプトを1つにまとめて一発で要約を作成することも可能です。ですが、(1)個々の記載のクオリティが低下する場合がある、(2)回答が長くなると途中で途切れてしまうことがある、という問題があります。そのため上記のように①〜③のステップ・バイ・ステップとしました。この方法はチェーンプロンプトと言ってClaudeの公式サイトでも推奨されています。
参考までに、1つにまとめたプロンプトも紹介します。<role></role>などはXMLタグといい、プロンプトと応答を構造化するためのものです。
(ここから)
<role>
＃あなたは臨床経験豊富で教育能力にも優れた専門医です。論文査読にも優れています。
＃添付したファイルの内容を、教育効果を最大化する目的でまとめてください。
</role>
<instruction>
＃以下の指示を実行して下さい。
タイトルと抄録を日本語に翻訳してください。
この論文のPICO(またはPECO)を簡潔にまとめてください。P：対象、I(またはE)：介入(または曝露)、C：比較対象、O：アウトカムを示します。
論文のテーマについて、以下の内容を要約して下さい。
これまでに分かっていること
この論文が付け加えたこと
将来への示唆
方法の要点
この論文の対象や方法に関する強み
この論文の対象や方法に関する限界
私の施設でこの結果を適用するとどのような影響がありますか？私の施設は日本の(都市部, 郊外, 農村部, 離島 etc.)にある(高度急性期, 一般急性期, 亜急性期・回復期, 慢性期, etc.)を担当する(大学病院, 市中病院, 診療所, etc.)で、(自施設や診療科の特徴、多い患者層など)です。
(括弧内には、当てはまる医療機関の特徴を入力する)
＃続けて、以下の指示も実行してください。
特に持ち帰るべき学びのポイントを3,4個の箇条書きにまとめてください。
この論文のキーワードを5つ、ハッシュタグをつけて提示してください。
更に学びたい人へ、引用文献の中でおすすめの論文を3～5個挙げてください。挙げた論文一つひとつに対して、特徴を一文で記載してください。半分以上の論文を、本論文の発表から５年以内のものから選択してください。バンクーバー方式でお願いします。
この論文は、診療ガイドラインの推奨を変える可能性がありますか？GRADEシステムに基づいて検討してください。
この論文をデータベースに保存したいです。バンクーバー方式で記載してください。
</instruction>
(ここまで)
最後までお読みいただき、ありがとうございました。
今後とも有益な情報を発信していきますので、応援よろしくお願い致します。
第2回以降、介入研究以外の論文の要約プロンプトも紹介していきます。