公共のソーシャルメディアフォーラムに投稿された患者の質問に対する医師と人工知能チャットボットの応答の比較 / ChatGPTで日本語要約
今回はこちらのTwitter記事が気になったので、ChatGPTで日本語要約しました( ^ω^ )
This new study is eye-opening.
— Alvaro Cintas (@dr_cintas) April 29, 2023
The authors compared Physicians vs AI Chatbot responses to patient questions posted to a public social media forum.
The results?
Patients preferred ChatGPT 79% of the time. 79%! 🤯
Not only AI responses were rated of higher quality but also more… pic.twitter.com/UIV0blaTbQ
John W. Ayers博士、Adam Poliak博士、Mark Dredze博士による研究です
Twitterから、こちらのJAMA Network Open(米国医師会が発行する、生物医科学のあらゆる側面をカバーする月刊のオープンアクセス医学雑誌)の研究記事を日本語要約しました。
『公共のソーシャル メディア フォーラムに投稿された患者の質問に対する医師と人工知能チャットボットの応答の比較』
横断的な研究において、研究者は、ソーシャルメディアフォーラムに寄せられた195の患者の質問に対する人工知能（AI）チャットボットアシスタントと医師の回答を比較しました。その結果、チャットボットの回答は医師の回答よりも好まれ、品質や共感性の点で有意に高く評価されたことが分かりました。このことから、AIアシスタントが患者さんの質問に対する回答の起案支援に役立つ可能性が示唆されました。
概要
AIチャットボットアシスタントが医療従事者を支援する可能性を検証する研究で、研究者はChatGPTというチャットボットを使って、公共のソーシャルメディアフォーラムに寄せられた195の患者の質問に回答しました。チャットボットの回答は、医師の回答と比較されその結果、評価の78.6%において、医療従事者は医師の回答よりもチャットボットの回答を好んでいたことがわかりました。また、チャットボットの回答は、医師の回答よりも有意に長く、質が高く、共感性の高いものでした。本研究は、AIチャットボット技術を臨床現場で使用するためにさらに検討し、医師が確認するための回答の下書きを支援し、患者の転帰を改善し、臨床医の燃え尽きを軽減する可能性があることを示唆しています。
1.はじめに
COVID-19の大流行により、バーチャルヘルスケアと電子患者メッセージが急増し、臨床医の燃え尽き症候群の一因となりました。メッセージの負担を軽減するための現在のアプローチは、質の高い医療へのアクセスを制限する可能性があります。ChatGPTのような人工知能（AI）アシスタントは、この問題の解決に役立つ可能性があります。ChatGPTは、様々なトピックについて人間に近い品質の文章を書くことができる新世代のAI技術です。研究者らは、ChatGPTが患者のヘルスケアに関する質問に高品質で共感的な回答を提供できるかを、ソーシャルメディア上の公開フォーラムで医師の回答との比較で検証しました。
2.方法
本研究では、Redditのr/AskDocsという公共のソーシャルメディアフォーラムを利用して、AIチャットボット（ChatGPT）が患者の質問に対して質の高い共感的な回答を提供する能力を評価したものです。彼らは、チャットボットの回答をプラットフォーム上で検証された医師の回答と比較しました。この研究では、ライセンスを持つ医療専門家のチームが、チャットボットと医師の回答の両方の品質と共感性を評価し、格付けしました。
研究者がこの方法を選んだのは、1996年の医療保険の相互運用性と説明責任に関する法律（HIPAA）の規制にAIが準拠していなかったため、当時は医療システムから患者データを使うことができなかったからです。HIPAAに準拠させるために患者のメッセージを非識別化すると、チャットボットの応答に影響を与えるほど内容が変化する可能性があります。オンラインフォーラムの公開データを使用することで、患者の匿名性を保ちながら、先行研究を基にした批評を行うことができました。
『HIPAA（Health Insurance Portability and Accountability Act）法とは、電子化した医療情報に関するプライバシー保護・セキュリティ確保について定めたアメリカの法律です。 日本語では、「医療保険の相互運用性と説明責任に関する法律」と訳すことができます。』
2-a.テーブル。医師とチャットボットの応答を伴う質問の例
3.結果
オンラインフォーラムでAIチャットボットの回答と医師の回答を比較した研究では、チャットボットの回答は医師の回答より有意に長かったことがわかります。評価者は78.6%の確率でチャットボットの回答を好み、医師の回答よりも品質と共感性が高いと評価しました。
チャットボットの回答は「良い、より良い」（5点満点中4.13点）と評価されたのに対し、医師の回答は「許容範囲」（5点満点中3.26点）と評価されました。また、チャットボットの回答は5点満点中3.65点で、医師の回答が2.15点であるのに対し、より共感性が高いとされました。
長い医師の回答は、より高い確率で好まれ、共感と品質でより良いスコアを獲得しましたが、それでもチャットボットのスコアを下回ることに変わりはありませんでした。全体として、オンラインフォーラムでは、医師が作成した回答よりもチャットボットの回答の方が好まれ、質が高く、より共感できることがわかりました。
3-a.患者の質問に対するチャットボットと医師の回答の平均品質と共感評価の分布グラフ
カーネル密度プロットは、群衆評価の原則を使用して、3 人の独立した認可を受けた医療専門家の評価者の平均を示しています。A、全体的な品質指標が表示されます。B、全体的な共感指標が表示されます。
4.ディスカッション
横断的な研究において、研究者は、公開オンラインフォーラムにおける患者の質問に対するAIチャットボットの回答は、医療従事者の評価者によって、医師の回答よりも長く、品質と共感性が高く評価され、4対1で好まれたことを発見しました。しかし、チャットボットが臨床の場でどのように機能するかは、まだわかっていません。
本研究では、メッセージングにAIアシスタントを組み込むことで、ワークフローを改善し、臨床医の時間を節約し、患者の転帰に好影響を与える可能性があることを示唆しています。また、移動に制限がある人やその他の障壁がある人は、メッセージングに頼る可能性が高いため、このアプローチは患者の公平性を高める可能性があります。
しかし、この研究にはいくつかの限界があります。オンラインフォーラムの使用は、典型的な患者と医師のやり取りを反映していない可能性があり、電子カルテに基づいて応答をパーソナライズするチャットボットの能力は評価されていないからです。さらに、この研究の評価者は共著者でもあり、彼らの評価に影響を与えた可能性があります。
これらの限界にもかかわらず、本研究は、ヘルスケアにおけるAIアシスタントの潜在的な利点を強調し、これらの技術を実装する前に、さらなる研究と倫理的懸念への対処の必要性を強調しています。
5.結論
この横断的な研究は、患者の質問に答えるためにAIアシスタントを使用することについて、有望な結果を示しています。しかし、臨床現場での潜在的な影響について決定的な結論を出す前に、さらなる研究が必要です。本研究の限界と新技術を過大評価するリスクはあるものの、患者メッセージワークフローにおけるAIアシスタントの利用を検討することで、臨床医と患者の双方にとってアウトカムを改善できる可能性があります。
軽症状だったり、病院での待ち時間等を考えるとメリットは多いのではないかと思います。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？