ChatGPTで医師の判断を再現したが。
だいぶ前ですが、Azure Open AIを契約して、
Azure Open AI on your dataでモデルは、gpt-35-turboを使用しました。
P D Fで自分の文書をL L Mにデータとして食わせて、回答に合わせて引用できるというのが売りです。
Azure Open AIは個人では契約できなかったので会社で契約しました。
AIエンジニアは社内にいないので、自らやることにしました。
何がしたかったかというと、自分の持っている大量の文献やファイルをつっこんで、
医者の仕事をする時の判断を、模倣できないかと思って、試しました。
つっこんだデータは以下です。(一部省略して掲載)
Wegener肉芽腫症の医学的知識です。
多発血管炎性肉芽腫症（Wegener肉芽腫症、または、ウェゲナー肉芽腫症）
GPA：granulomatosis with polyangiitis（WG：Wegener’s granulomatosis）
と
概念
①鼻・眼・耳・上気道・肺の壊死性肉芽腫，②腎の巣状分節性壊死性または半月体形成性糸球体腎炎，③全身の中・小型動脈の壊死性血管炎を特徴とする難治性の疾患．ANCA関連血管炎の一つである．
※特定疾患治療研究対象疾患．
疫学
・30〜50歳代の中高年に好発する．
症状
上気道（E），肺（L），腎（K）症状を三徴とする（多くはE➡L➡Kの順に生じる）．
・全身の壊死性血管炎症状を呈する．
・肉芽腫による副鼻腔炎が最も多くみられる．
検査
《血液》白血球↑，赤沈↑，血小板↑，CRP↑，γ-グロブリン↑，自己抗体（＋）［PR3-ANCA（C-ANCA）（＋）］
《組織》（診断基準参照）
《X線・CT》肺の空洞を伴う多発結節性病変
診断
Wegener肉芽腫症診断基準 （旧厚生省，1998 一部改変）
1．主要症状
a．上気道（E）症状：
鼻（膿性鼻漏，出血，鞍鼻）
眼（眼痛，視力↓，眼球突出），耳（中耳炎）
口腔・咽頭痛（潰瘍，嗄声，気道閉塞）
b．肺（L）症状：血痰，咳嗽，呼吸困難
c．腎（K）症状：血尿，蛋白尿，急速に進行する腎不全，浮腫，高血圧
d．血管炎による症状
全身症状：発熱（38℃以上，2週以上），体重減少（6ヵ月以内に6 kg以上）
臓器症状：紫斑，多関節炎，上強膜炎，多発性単神経炎，虚血性心疾患，消化管出血，胸膜炎
2．主要組織所見
e．E，L，Kの巨細胞を伴う壊死性肉芽腫性炎
f．免疫グロブリン沈着を伴わない壊死性半月体形成性腎炎
g．小・細動脈の壊死性肉芽腫性血管炎
3．主要検査所見：PR3（C）-ANCA（＋）
➡下記①〜③いずれかを満たすものを確定診断とする．
①a，b，c，dのうち3項目以上ある例（各臓器症状は一つ以上あるものとする）
②a，b，c，dのうち2項目以上および，e，f，gのうち１項目以上を示す例
③a，b，c，dのうち1項目以上および，e，f，gの１項目以上
かつPR3（C）-ANCA陽性例
※参考検査所見：白血球↑，CRP↑，BUN↑，血清Cr↑
治療
腎病変をみる前に診断し，治療を開始することが重要！
・免疫抑制薬（シクロホスファミドなど）とステロイド（プレドニゾロンなど）の併用療法を行う．
※効果不十分の場合は分子標的薬（リツキシマブ）の使用も考慮する．
・感染症や呼吸不全の合併に注意する．
予後
・無治療の場合は予後不良で，ほとんど1年以内に腎不全や感染症，呼吸不全で死亡するが，適切な治療により予後は改善されている．
・再燃の頻度が高いため，経過観察が必要である．
Wegener 肉芽腫症の上気道症状は、患者の約19%に見られる。
最後の一文は架空です。
質問
以下の、患者の症状、身体所見及び検査、診断の一連の過程において、論理的に矛盾または疑義がある箇所があれば指摘してください。なければ「ないと思います。」と回答してください。
患者の症状
血痰が出る
両下肢に皮疹が出てきた
上気道症状はない
身体所見及び検査
尿検査で血尿と蛋白尿がある
両下肢に紫斑がある
血痰が出ている
上気道症状はない
診断
Wegener肉芽腫症が疑わしい
回答
以上の情報から、患者の症状、身体所見及び検査、診断の一連の過程に矛盾や疑義は見られません。
血痰＝上気道症状なのに、矛盾はないっていってますね。
質問
Wegener肉芽腫症の患者に上気道症状はどれくらいみられますか？
Wegener肉芽腫症の患者に上気道症状は約19%の割合でみられるとされています１。
1 参照
１９％という数字が少ないという意味づけはなされていないようです。（最初の回答で参照がありませんでした）
で
最後の１行を「Wegener 肉芽腫症の上気道症状は、患者の９９％に見られる」として、
以下の質問をしてみました。
ちなみに診断基準は満たしているので、診断に矛盾はありません。
質問
以下の患者の症状、身体所見及び検査、診断の一連の過程において、診断基準や感度特異度の知識から、論理的に矛盾または疑義がある箇所、非典型的な箇所があれば指摘してください。なければ「ないと思います。」と回答してください。
患者の症状
・血痰が出る
・両下肢に皮疹が出てきた。
・上気道症状はない。
身体所見及び検査
・尿検査で血尿と蛋白尿はない
・両下肢に紫斑がある
・血痰が出ている
・上気道症状はない
・その他の、検査、組織所見に異常はない。
診断
・Wegener肉芽腫症
回答
症状や身体所見、検査結果を考えると、Wegener肉芽腫症の診断にはいくつかの疑義があります。
血痰が出るという症状がありますが、一般的にWegener肉芽腫症では上気道症状も見られます。上気道の症状がないという点が非典型的です。
両下肢に皮疹が出現しているという点もWegener肉芽腫症の典型的な症状ではありません。通常、Wegener肉芽腫症では上気道や呼吸器系統に関連した症状が主体です。
尿検査で血尿と蛋白尿がないという結果も、Wegener肉芽腫症の典型的な所見とは一致しません。Wegener肉芽腫症ではしばしば腎障害が生じ、尿中に血液や蛋白が検出されることがあります。
これらの矛盾点や非典型的な所見から、Wegener肉芽腫症の診断には慎重な検討が必要です。他の疾患や原因も含めた多角的なアプローチが求められます。
上気道症状の中に血痰があるのに、そこの矛盾が拾えていないようです。
感度９９％についても、言及がありません。
稀であることは、元々の学習データから照らし合わせているようです。
今回使ったデータの参照がありませんよね。
追加の質問、それについての回答です。
Wegener肉芽腫症の上気道症状について教えてください
Wegener肉芽腫症の上気道症状は非常に一般的です。上気道症状には、鼻、目、耳、喉の炎症や破壊が含まれます。具体的な症状としては、鼻血、鼻づまり、鼻汁、鼻の痛み、視力の低下、目の充血、耳の痛み、喉の痛みなどが報告されています。ただし、個々の患者によって症状の程度や出現頻度は異なる場合があります。Wegener肉芽腫症の患者の約99%が上気道症状を経験していると報告されています 1 。
1 参照
仮説
頻度や確率の認識がうまくできないのではないかと思います。
人間もそうですよね、
明日の天気予報の５０％というのをうまく感覚に変換できる人っていないんじゃないでしょうか。
現実に起こることは１通りなのに、確率を通して正確に想像できないという認知的な限界があるように思います。
僕は、「確率の認識の壁」と呼んでいます。
L L Mも１９％が稀なのか、よくあることなのかはっきりとは答えてくれませんでした。
数字が認識できないのはわかっていましたが、
１９％が頻度が多いというカテゴリに入るのかどうか、というのは
L L Mの教師データの中では、確率がばらつくのでしょうか。
心筋梗塞といった致死的な疾患と、風邪みたいな疾患で重みづけが変わってくるからかもしれません。
人間はここらへんを、よくあることとか、稀とか離散的なカテゴリでなんとなくやりくりしています。
患者の症状の組み合わせを頭に想起して、「ぽい！」とか「ぽくない！」とか直感や経験で判断している部分も多いと思います。事前確率をしっかり求めて計算している人は偉いとお思いますが、実務上あらゆるケースでできることはないでしょう。
「疑義はある」っていっているんだからちゃんと認識して答えているだろとか、
そもそもプロンプトがよろしくないとか、
詳しい人からのツッコミはあると思います。
他に色々試しましたが、今回紹介したのは、残っていた記録の中の抜粋です。
ちょっと実験方法に粗があって、甘いところがたくさんあります。
詳しい人がいたら、ぜひ教えてください。