公開ソーシャルメディアフォーラムに投稿された患者からの質問に対する医師と人工知能チャットボットの対応を比較する

今回紹介する論文は人々が医者かAIどちらが病気やケガの質問に対してより早く、確実な処置などを答えてくれるかという実験。これは臨床医の燃え尽き症候群が問題化しておりどうにかして負担を減らせないを試すための一歩。

実験の重要性

バーチャルヘルスケアの急速な拡大により、医療従事者の仕事量と燃え尽き症候群の増加に伴い、患者からのメッセージが急増しています。人工知能（AI）アシスタントは、臨床医が確認できる回答を作成することで、患者の質問に対する回答を作成するのに役立つ可能性があります。

目的

2022年11月にリリースされたAIチャットボットアシスタント（ChatGPT）が、患者さんの質問に対して質の高い共感的な回答を提供する能力を評価する。

実験の参加者と設定

この複数の分野がかかわる研究では、公共のソーシャルメディアフォーラム（Redditのr/AskDocs）の質問の公開および非特定化データベースを使用して、医師が公開質問に回答した2022年10月の195件のやりとりをランダムに抽選しました。チャットボットの回答は、2022年12月22日と23日の新しいセッションの元の質問を入力することで生成されました（セッション内で事前に質問が行われていない状態）。元の質問と、匿名化されランダムに並べられた医師とチャットボットの回答は、ライセンスを持つ医療専門家のチームによって3重で評価されました。評価者は「どちらの回答が良かったか」を選択し、「提供された情報の質」（非常に悪い、悪い、許容範囲、良い、非常に良い）と「患者とのコミュニケーションでの対応」（患者に共感しない、少し共感する、適度に共感する、共感する、非常に共感する）の両方を判断しました。平均的な成果は1～5のスケールで順序付けられ、チャットボットと医師の間で比較された。

結果

195の質問と回答のうち、評価者は585の評価のうち78.6％（95％CI、75.0％-81.8％）で医師の回答よりチャットボットの回答を優先した。医師の回答の平均値（IQR）は、チャットボットの回答よりも短かった（52 [17-62] 語 vs 211 [168-245] 語；t = 25.4；P < .001）。チャットボットの回答は、医師の回答よりも高品質と評価された（t = 13.3; P < .001）。例えば、「良い」または「非常に良い」と評価された回答（≧4）の割合は、医師よりもチャットボットの方が高かった（チャットボット：78.5%、95% CI, 72.3%-84.1%; 医師：22.1%、95% CI, 16.4%-28.2%;)．これは、チャットボットの良質な回答や非常に良質な回答の普及率が3.6倍高いことに相当します。また、チャットボットの回答は、医師の回答よりも有意に共感的と評価された（t = 18.9; P < .001）。共感的または非常に共感的（≧4）と評価された回答の割合は、医師よりもチャットボットの方が高かった（医師：4.6%, 95% CI, 2.1%-7.7%; chatbot：45.1%, 95% CI, 38.5%-51.8%; 医師：4.6%, 95% CI, 2.1%-7.7%）である。これは、チャットボットの方が、共感的または非常に共感的な回答の有病率が9.8倍高いことになります。

結論

この複数の分野がかかわる研究では、オンラインフォーラムで提起された患者の質問に対して、チャットボットが質の高い共感的な回答を生成した。この技術を臨床の場でさらに検討することが必要であり、例えば、チャットボットを使用して回答を作成し、医師がそれを編集することができる。無作為化試験により、AIアシスタントを使用することで回答が改善され、臨床医の燃え尽き症候群が低下し、患者の転帰が改善されるかどうかをさらに評価できる。

研究元：Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum | Health Informatics | JAMA Internal Medicine | JAMA Network