【AppSheet】薬局薬剤師が作った、疑義照会アプリ（5）大幅アップデート〜Geminiによる画像認識で処方内容を読む〜

はじめに

当社のアプリは基本的には無料で加盟店舗様に配布しているものとなります。
加盟店舗様というのは、エクセルVBAで作った地域の医薬品在庫共有ツール（月額300円）に加盟していただいている店舗様です。昨今の医薬品不足により近隣店舗で薬を融通しあう機会も増え、欲しい薬をすぐに検索でき、自店舗から距離が近い順に表示されることで、地域で助け合える環境を整えるため生まれたツールです。静岡市を中心に現在約50件ほどの店舗で運用しておりますが、他市、他県、同一法人内など、2〜3店舗あればその在庫検索のメリットを感じていただけますので、この記事を読んでいる薬局の方、コンタクトをいただけると光栄です。info@aicok.jpまでご連絡お待ちしております。より多くのかたが地域の在庫共有に参加していただき、システムのメリットを最大限に活かしていただくことを目的としていますので、Appsheetアプリに関しては加盟店舗様へのサービスとさせていただいております。

AI Gemini を利用した画像認識

アプリ作成でいつも参考にさせていただいているイルカのえっちゃんの動画でGeminiが画像を認識できるとの情報を教えていただきましたのですぐに利用してみることにしました。ChatgptのAPIは、テキストを要約するので、どうしても画像のOCRテキスト化の精度に依存してしまいます。処方箋薬の文字列というのはなかなか読むことが難しいようで、患者情報や医療機関情報はChatgptに要約させ、プロトコルに必要な処方内容はGeminiに読ませてみることにしました。

参考にさせていただいた動画はこちらです↑
これらのアップデートにより、アプリの使い方は以下のようになります。

〈疑義照会作成手順〉

1.アプリを起動
入力フォームで始まるか、始まらない場合は右下の➕ボタンで入力フォームを立ち上げます。

2.フォーマットを選択

3.処方箋の写真を撮影、写真のOCRテキストが表示されるまで待ちながら、疑義照会内容を入力します。→保存

4.Chatgptの🤖ボタンを押して患者情報と医療機関情報を取得（下の写真のように取得できていることを確認）→青枠で示した病院名ボタンを押す

5.PDFボタン📄が登場するので押すとPDFを表示します。
→エアプリントで印刷して完了

〈プロトコル疑義照会作成方法〉

1.アプリを起動
入力フォームで始まるか、始まらない場合は右下の➕ボタンでフォームを立ち上げます。

2.フォーマットを選択

3.処方箋の写真を撮影、写真のOCRテキストが表示されるまで待ちながら、変更後内容を必要に応じて入力します。

4.Chatgpt🤖ボタンを押して患者情報と医療機関情報を取得
→下の写真のように情報が取得できたことを確認する

5.GEMINI🤖ボタンを押して、変更前内容に取得する処方内容をgeminiで読みます。
（変更前、変更後情報が不要の方はPDF作成へ進んでください。

※AI回答（gemini）に回答が入りますが、処方箋薬を読むのが難しいようです😭精度があまり良くありません。プロンプトなど改修を続けますが、写真右下編集📝ボタンで編集し、もう一度保存をしてください。

6.病院名ボタンを押し、PDFを作成

7.PDFボタン📄が登場するので押すとPDFを表示します。
→エアプリントで印刷して完了

まだ改善の余地があるため、引き続き改修を行っていきますが、手動での編集も可能ですので、ユーザー様にはAIの利便性をぜひ体感していただければと思います。

各種フォーマットに対応可能です。
ご興味のある方は　info@aicok.jpまで
ご連絡お待ちしております。