生成AIとジャーナルクラブ ChatGPT-4o編：第1回 介入研究の論文要約
主な対象者
本記事では、ジャーナルクラブの準備でどうしたらいいだろう？と迷われたり、時間がない！と思われている医師(研修医や専攻医を含む)をサポートするプロンプトを紹介しています。
ノーコードで出来る内容を扱っています。
#ジャーナルクラブ #抄読会 #ChatGPT-4o #プロンプト #RCT #研修医 #EBM
本記事の画像はAdobe Fireflyを用いて生成しました。
はじめに——生成AIとジャーナルクラブ
2024年4月から5月上旬にかけて、Claude 3を用いたジャーナルクラブの準備での使用を念頭に、論文の内容や研究デザインに分けて内容を抽出するプロンプトの試みを公開してきました。
5月13日(米国時間)にOpenAIが新モデルであるGPT-4o (oはomniの略)が公開されました。このモデルはGPT-4の進化版であり、テキスト、画像、音声などのマルチモーダル入力をネイティブにサポートしているのですが、それに加えて回答速度が大幅に上がっています。なお、無料版でも回数制限はあるもののGPT-4oを使用することは出来ます。
https://openai.com/index/hello-gpt-4o/
このChatGPT-4oに、これまで作成してきたプロンプトを活用出来るか試してみました。
結論だけ先に述べると、活用できます。しかも早いです。
また、ChatGPTではWebリンクを参照することが出来ますが、フリーアクセスでない論文では内容を参照できないことがあったり、フリーアクセスの論文でリンクを貼ってもハルシネーションが出現することがあるので、PDFファイルを添付することをお勧めします。
補足——GPT storeとの差異化 6/2追記
ChatGPTにおいては、GPT storeに論文要約のGPTsが数多く存在します。英語はもちろん、日本語で使えるものも多いです。
以下のものが最も良く利用されているようです(下記リンクは日本語版。英語版もあります)。
このGPTは非常に優れており、単純にPDFをアップロードするか、URLを貼り付けるだけで、抄録の内容の日本語要約、当該論文の新規性、将来への示唆まで一瞬で情報が得られます。
ここで紹介するプロンプトは、3〜5段階に手順が分かれて煩雑となりますが、以下の点で新規性や優れている点があると考えています。
EBMのステップ4(自分の医療セッティングに当てはめるとどうかの考察)がある。
図表の解説(まだ改善点はありますが)がある。抄読会の準備をする研修医や若手医師には助けになると思います。
chain of promptになっている(つまり細かく仕分けている)分、個々の記載はやや詳しくなっている。
以下、以前の記事に準じて進めていきます。
RCTの論文を要約する
特にジャーナルクラブに初めて取り組む研修医を含む若手の医師にとって、誰もが知っている超有名なジャーナルの論文、中でもRCT(Randomized Controlled Trial; 無作為割り付け試験)を選択することが多いのではないかと思います。そのRCTの論文をChatGPT-4oに添付して、以下のプロンプトをコピペすると、一瞬でポイントを押さえた要約を作成してくれます。
プロンプトの前に ファイルの添付
ファイルの添付はプロンプトを書く前でも後でも良いですが、その際の注意点です。
添付できるファイルにはサイズの上限がありますが、1個あたり512Mbまで(あるいは200万トークンまで)と、Claude 3より大幅に余裕があります。普通の論文1篇なら全く問題ないでしょう。
ただ、繰り返し利用していると、1エンドユーザーあたり10GBが上限となる点には注意が必要です。
https://help.openai.com/en/articles/8555545-file-uploads-faq
また、Claude 3で見られた、ファイル名にセミコロン(;)があると添付できない問題は、ChatGPTでは見られません。
プロンプト① 役割付与と導入
(ここから)
＃あなたは臨床経験豊富で教育能力にも優れた専門医です。論文査読にも優れています。
＃添付したファイルの内容を、教育効果を最大化する目的でまとめてください。
＃以下の指示を実行して下さい。
タイトルと抄録を日本語に翻訳してください。
この論文のPICO(またはPECO)を簡潔にまとめてください。P：対象、I(またはE)：介入(または曝露)、C：比較対象、O：アウトカムを示します。
(ここまで)
まずはAIに役割を与えます。ここでは「臨床経験豊富で教育能力にも優れた専門医」で「論文査読にも優れてい」ると規定します。こうすることで頼れる専門医として振る舞ってくれます。
タイトルと抄録の日本語訳は定番ですね。
次のPICO(またはPECO)がRCTの結果を理解する上でのポイントで、特定の対象者に(P)、ある種の新しい介入を行って(I)、その介入なし(または従来の介入)の場合と比較して(C)、アウトカムがどれだけ違ったのか(O)を問うています。PECOは観察研究で用いられることが多いですが、その場合は上記の「介入」を「曝露」と読み替えてください。
次のプロンプトに進みます。
プロンプト② 内容の中核に踏み込む
(ここから)
＃続けて、以下の指示も実行してください。
論文のテーマについて、以下の内容を要約して下さい。
これまでに分かっていること
この論文が付け加えたこと
将来への示唆
方法の要点
この論文の対象や方法に関する強み
この論文の対象や方法に関する限界
私の施設でこの結果を適用するとどのような影響がありますか？私の施設は日本の(都市部, 郊外, 農村部, 離島 etc.)にある(高度急性期, 一般急性期, 亜急性期・回復期, 慢性期, etc.)を担当する(大学病院, 市中病院, 診療所, etc.)で、(自施設や診療科の特徴、多い患者層など)です。
(括弧内には、当てはまる医療機関の特徴を入力する)
(ここまで)
最近では図での要約があったり、コラムとして「これまでに分かっていること」「この論文が付け加えたこと」「将来への示唆」などが短くまとまっている論文も多くなっていますが、それを独自にまとめて欲しいと指示を出しています。
また、方法(method)の要点は、この書き方だとエッセンスを抽出するレベルの記載となりますが、より詳しく知りたい場合はこのプロンプト②の次に「方法(あるいは、特定の〜〜)についてもっと詳しく教えてください。」と尋ねると教えてもらえます。
最後の「私の施設で〜」の部分は、EBMの5つのステップの4番目である「この情報を自分の患者に適用できるか？」を踏まえたもので、医療機関のセッティングにより代用しています。ジャーナルクラブでは一般論だけでは指導医に響かないこともあるので、一歩踏み込んで自分のセッティングでの適用まで問うています。1.が2つ続いてしまっていますが、誤作動などは起きないので大丈夫です。
ここで注意点ですが、生成AIには一般的に個人情報や企業情報をそのまま入力すると学習材料として利用されてしまう恐れがあります。上記のような一般的な表現に留めた方が良いでしょう。
この次に、順不同で図や表に関するプロンプトを入力すると、有用な情報が得られます。AppendixやSupplementに関する情報は、Claude 3 Sonnetだとあるはずの図や表を無いと言われることもあるのですが、その点はChatGPT-4oの方がやや正確です(それでも不十分となることもあります)。
なぜか、プロンプト②で指示した自施設での適用に関する回答を繰り返すこともあり、「#私の施設での適用については、繰り返さなくて良いです。」などと、この段階で指示した方が無難です。
それでは最後のプロンプトです。ここはWeb検索が可能なChatGPTの強みが活きるところです。
プロンプト③ Take Home Messageを得る
(ここから)
＃続けて、以下の指示も実行してください。
特に持ち帰るべき学びのポイントを3,4個の箇条書きにまとめてください。
この論文のキーワードを5つ、ハッシュタグをつけて提示してください。
更に学びたい人へ、おすすめの論文を3～5個挙げてください。挙げた論文一つひとつに対して、特徴を一文で記載してください。半分以上の論文を、本論文の発表から５年以内のものから選択してください。引用文献以外の論文を、少なくとも1つは必ず含めるようにしてください。バンクーバー方式でお願いします。
この論文は、診療ガイドラインの推奨を変える可能性がありますか？GRADEシステムに基づいて検討してください。
この論文をデータベースに保存したいです。バンクーバー方式で記載してください。
(ここまで)
結局、このジャーナルから何を学べるのか？それをまずは箇条書きでまとめてもらいます。続いて、キーワードを挙げてもらいます。
更に学びたい人には、おすすめの引用文献を紹介してもらいます。「本論文の発表から5年以内のもの」との制約は、守られないこともありますが、重要な論文がそれ以前のものであったと割り切りましょう。
ChatGPT-4oを使用した場合、Web検索が可能ですので、引用文献以外の論文でもお勧めの内容のものを素早く検索して提示してくれます。これは、Claudeと比較した場合の大きな強みとなります。
新しい論文を読んだとして、それが実際に自分たちの日常診療を変更するインパクトがあるかどうかを考えると、診療ガイドラインが次に改訂される時にその論文の内容が反映されて推奨が変わるかどうかは避けて通れない問いです。ここの4.のプロンプトはその問いに答えるためのものです。ChatGPT-4oにおいても、GRADEシステムについて特に説明しなくても、それに基づいての評価をしてくれました。
このプロンプトは単独でも使えますが、このプロンプト③を入力する際に、新たに該当する診療ガイドラインも添付して指示をすれば、内容を確認してコメントを返してくれます。初めの論文が英語で、ガイドラインが日本語でも全く問題ありません。
そして、ジャーナルクラブで用いた論文をデータベースに登録しておきたい場合は、最後のプロンプトでフォーマットを揃えて記録を残しておけます。PubMed IDの抽出は正確な時もあれば誤った時もあり、今回も指示から外しました。
終わりに
ここまでのプロンプトを用いることで、ものの数分でジャーナルクラブの発表の骨格が出来上がります。あとは細かい部分の原文との整合性の確認をやったり、必要な図表を用意するなどすれば十分でしょう。ChatGPT-4oはそれまでのChatGPTのモデルより数段優れており、今回の条件なら概ね信頼できるのですが、最後の確認は人間が行う必要があります。その点は忘れないようにしてください。
3つのプロンプトを1つにまとめて一発で要約を作成することも可能ですが、個々の記載のクオリティが低下し、ハルシネーションが出現する場合があるため上記のように①〜③のステップ・バイ・ステップとしました。
他の内容についても、随時ChatGPT-4oでの使用感を含めて紹介していきます。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？