｢文学的画像認識GPT｣2023年6月14日の日記

• こんにちは、Noi_です。

• 残業1時間したから短めで許してね！

インターン14日目？だったかな？

• たまに自分が知りたかった内容と、仕事でやる内容が一致することってありますよね。まさに今日がそれでした。

• ChatGPTのプラグインに関する話ですね。これアカウントバレたら結構言われそうだけど、いっか！

• 本来はやらなくていいんだろうけど、僕は大学生の備忘録アカウントでめちゃめちゃ試してました。履歴が多分すごいことになってるはず。

• 使ってなかったけど便利な機能結構ありましたね。ウェブページとPDFの要約とかしてくれるやつ（｢Webpilet｣と｢AskYourPDF｣）は、他のプラグインとの相性いいからこれからもずっと使われそう。

• 一番驚いたのは画像認識して、テキスト起こしするやつですね。まだ文字起こし的なのは無理そうだったけど、やたら文学的な言い回ししてきたからそこにびっくりした。

読み込んだ画像。前に使ったサムネ。

画像は都市環境で撮影されており、プロフェッショナルな白人男性が歩道を自信に満ちて歩いています。彼の右手にはスリークな黒いブリーフケースを持っています。彼の旅を共有しているのは、左側に立つ目立つ道路標識で、交差点の名前を示しています。背後には高く、灰色の摩天楼が空にそびえ立ち、男性が通り過ぎる豊かな緑の木々が並んでいることから、都市の喧騒を思わせます。

画像の中央には、日本語のラベルが付いたガラス瓶が、コンクリートの手すりのようなものに置かれています。明らかに無関係なように見えますが、その明るいオレンジ色のキャップが対照的で、視線を引きつけます。

男性の右側には、隣の建物の壁に黄色のペイントで描かれた彼自身の小さなバージョンが見えます。描写は粗いですが、その服装とブリーフケースは間違いなく認識できます。

忙しい街の風景は、暖かい黄色の光に浸されており、これは機会と興奮に満ちた都市での晴れた日を示しています。

 プラグイン｢SceneXplain｣

• 芸術面の説明かと思ったら文学なの面白い。ここでのAIの反応から小説書けそう。

• 雨穴さんの｢変な絵｣とか｢変なAI｣はこういうのをきっかけに作ってるのかもしれない。

• 逆に画像生成の時の文章をより細かく指定してくれるやつもあった。｢Photorealistic｣ってやつ。

• 例えば｢かわいい猫｣って打ったら、｢目は黒くて大きく、毛並みはなんちゃらで〜｣みたいな詳しい情報をつけてくれるので、きちんとした画像が生成される。

• 「きちんとしたってなんだよ」ってなるけどそうとしか言いようがないんです…

• あとはあれかな。図を生成してくれる｢Show Me｣だね。これは元々授業に関連してて使ってた。

• 折れ線グラフと棒グラフが生成できないのがねぇ〜！出来るようにしてくれー！

• サムネは棒グラフ作ろうとした失敗例ですね。棒とは。

• でも円グラフは生成できた。｢Webpilet｣と｢AskYourPDF｣を合わせて使ったら最強クラスのプラグインですね。