GPTsで画像を変換するアプリの制作：トランスドローイング

今回もGPTsネタです。
構図は思い浮かぶんだけど、イラストにする能力がない、けど、素敵なイラストは描きたい、と言う場合、Code Interpreter（コードインタープリター）にラフスケッチを読み込ませて、イラスト化することができます。

これをアプリを使わずに普通にやってもいいのですが、より美しく変換するアプリを開発しています。

私は少しばかり心理学や脳科学の知識があるものですから、その見地から美や芸術の科学的なデータをアプリに入れました。それが、今回ご紹介する「トランスドローイング」です。

落書きの風景をイラストに

↓以下のような落書きの風景画を描きます。

風景画と呼べるレベルではないですが・・・w
これをイラストへ変換した様子が以下です♻️

やや位置が変更されますが、もっとも良い構図にするようにプログラムプロンプトを組んでいますので、このようになります。
画風も自動で選択されます。

プロンプトで指示をすれば、様々なイラストに変更してくれます。
例えば、以下のようなアニメ風イラストへの変換です。

悲惨なレベルの落書きも変換

ヤバいレベルの落書きも変換してくれます。
アプリの中のプログラムプロンプトでは、しっかりと認識してくれ！とChatGPTに発破をかけていますw

一応、龍です。
悲惨なレベルの絵ですが。
これも、認識してイラスト化してくれます。

一応、龍だと認識してくれているっぽいです。
こうした空想の動物も大丈夫っぽいです。

写真をイラストに変換

たまに、企業からお声がかかり、AIの研修講師をしていますが、そこで写真をイラストに変換できるのか？と聞かれることがあります。

もちろん、可能です。

今年、春に撮影した梅の花の写真をイラストに変換。

いい感じだと思います🌸

性能を上げる

現在、変換の性能をあげることを行っています。何をしているかは企業秘密ですw
より美しく、ハイクオリティなイラスト生成を目指しています。

悲惨なレベルのペガサスもこの通り✨

遠近感がややおかしいので、もう少し調整しますが。
これだと超巨大ペガサスになってしまいます。

ストラクチャーモード

前述の画像のようにパースペクティブが変な場合ですが、パースを完璧にしたい場合はストラクチャーモードにします。そうしたモードをアプリに設定しました。そうすることでパースが正確で、クオリティの高い画像が生成されます。

まずは、構図フェーズではイラストの骨組みが設定されます。ここではパースやデッサンを正確に行うことに特化させます。

ここから下塗り→完成へと考えたのですが、面倒なので下塗りフェーズを飛ばして完成フェーズへと一気に行きます。

ここでも角度などが変更されていますが、プロンプトでは学習モデルを採用しているため、変更を認めているからです。

リリースは？

このアプリのリリースですが、まだ調整中なので、しばらくお待ちください。

それでは、また。

Tweets by wish_society