ノーコードでLINEから送られた画像をChatGPTで解析する方法

先日、makeとChatGPTで画像解析をする方法についてお問い合わせを頂いたため、実際にmake上に実装してみました

今回はチャットボットには組み込んでおらず、解析の方法のみにフォーカスして解説します
そのため実際に使う場合は「ファイルを受け取ったらこちらに処理を流す」「テキストの場合にはこちらに流す」といった出し分けが必要になると思われます

準備

今回はツールとしてmake、LINE Developers、ChatGPTを使用します
登録方法や細かい説明などは下記過去記事をご参照ください！

makeでの設定方法

それでは早速解説に入っていきます！
まずは全体像を確認しましょう

1. LINEからのメッセージを検知する設定

2. メッセージからファイルを抽出する設定

3. ChatGPTの画像解析用の設定

以上の3つから構成されています
ChatGPTの設定は下記画像の一番上にある「Analyze Image(s) - Vision」を選択してください

次にファイルを受け取る設定の詳細です

Events→Message→Message ID
上記の用に開いて最後に「Message ID」を選択しましょう

最後に下記のようにChatGPTを設定します

Promptの指示を変えれば様々な用途に使えそうですね
例えば「画像に面白いタイトルをつけて」とすれば大喜利ボットみたいなものが作れるかもしれません

試しに今回の設定で画像解析をしてみました
使った画像はこれです

結果がこちら

この画像には猫のタワーまたはキャットツリーの上部のプラットフォームに一緒に座っている２匹の猫が写っています。左側の猫は灰色でシマシマ模様があり、右側の猫はクリーム色の被毛を持ちます。猫達はリラックスした姿で静かに座っており、その穏やかな表情が印象的です。背景が曖昧で、この猫達が居心地の良い家庭的な環境にいることを示唆しています。

表現は固いですが正しく読み取れていそうですね
「この画像は何か簡潔に説明して」など、どんな表現をしてほしいかもPromptに記載するとある程度操作することはできそうです

今回は以上で解説を終わりたいと思います