Automated HEART score determination via ChatGPT: Honing a framework for iterative prompt development

https://onlinelibrary.wiley.com/doi/10.1002/emp2.13133

下記の文章は論文のアブストラクトをChatGPTに解釈させたものであり、正確性は保証しません。

1 本研究の背景について、詳しく説明してください。
本研究の背景は、ChatGPTと呼ばれる大規模な言語モデル（LLM）の能力を活用して、臨床ノートから洞察を抽出する精度を向上させる設計フレームワークを提案することです。具体的には、胸痛評価におけるHEARTスコアの自動決定のためのプロンプトの改良を重視しています。HEARTスコアは、歴史、心電図、年齢、リスク要因、トロポニンリスクアルゴリズムなどの要素を組み合わせた胸痛のリスク分類ツールです。

2 本研究の関連研究について、詳しく説明してください。
本研究の関連研究では、LLMを臨床ノートの分析に活用するためのプロンプトの改良と評価の設計フレームワークの不足が指摘されています。コンピュータ科学の研究では、プロンプトの開発において反復的なアプローチや「プロンプトエンジニアリング」と呼ばれる手法が探索されていますが、臨床領域ではこれが限定的に行われています。

3 本研究の目的について、詳しく説明してください。
本研究の目的は、臨床ノートの分析のためのLLMプロンプトの改良を行う設計フレームワークを開発し、医師の評価とより正確に一致するLLMの応答選択肢を生み出すことです。具体的には、HEARTスコアの自動決定のためのプロンプトを改良しました。このプロンプトは、患者の特徴や症状の情報を含んだ合成臨床ノートを使用しています。

4 本研究で用いた材料やデータについて、詳しく説明してください。
本研究では、HEARTスコアの自動決定のためのプロンプトの改良に合成臨床ノートを使用しました。これらの合成ノートは、通常、救急科で胸痛の評価時に使用される臨床エンカウンターノートを代表するものです。合成ノートには、患者の特徴や症状の種類と重症度、合併症、既往歴などの異なる情報が含まれています。合成ノートは、救急医学の医師によって書かれた診療ノートと心電図の解釈から構成されています。

5 本研究で何が明らかになったか、詳しく説明してください。
本研究の結果、プロンプトの改良により、LLMの応答の正確性が向上したことが明らかになりました。GPT-4の初期から最終のプロンプトの設計において、非数値的なサブスコアの応答の割合が減少しました。また、HEARTサブスコアの数値的な応答の精度も向上しました。

6 本研究の有効性をどのように検証したか、詳しく説明してください。
本研究では、プロンプトの改良のための設計フレームワークを構築しました。このフレームワークを使用して、医師の評価とLLMの応答選択肢の正確性を比較し、評価しました。具体的には、25回の試行を行い、LLMの応答からサブスコアの情報を抽出し、医師の評価と比較しました。プロンプトの改良により、適切なサブスコアの選択肢が増え、エラーの割合が減少し、数値的なサブスコアの応答の精度が向上したことが確認されました。