ChatGPTに画像を認識させる

　これは、2023年6月頃の記事です。その後、ChatGPTの本体に画像を受け取る方法が追加になり、使い易さが一段とアップしました。ここで紹介する方法は、プラグインを介したもので、引き続き有効です。

準備：
1. GPT4プラグインの SceneXplain を有効化する
2. 画像の url をプロンプトに記述して与える。

ロボットの横に女の子が座っている画像

　例えば、「ロボットの横に女の子が座っている画像」をChatGPTにurlで与えたところ、これを次のように分析した。

　この画像は、未来的な設定で、様々な興味を持つキャラクターたちが集まる、居心地の良いハイテクな作業スペースを中心に描かれています。
　若い女の子がシックな木製のデスクに座り、タブレット画面の上に重なるチェス盤でゲームに集中しています。彼女の注意は、ゲームと彼女を囲む鮮やかなポスターやディスプレイ、装飾品のコレクションとの間で揺れています。
　彼女の隣には、コンピュータを操作する助けになるロボットの仲間が座っています。先進的なテクノロジーを手に入れた部屋の住人たちは、各々が自分の情熱を追求しながら、マルチタスクをこなし、学んでいます。//

ChatGPTの回答

　ChatGPTに与えたのは画像だけで、例えば「ゲーム」「ロボット」などの文字情報は一切与えていない。にもかかわらずChatGPTが画像の細部を認識し、加えて人物の心理まで描写しようと試みている点は注目に値する。