手書きのラフスケッチをStable Diffusionで清書してみた。

私のTwitterアカウントのプロフィール画像はこれまで私自身の犬の姿でした。しかし、最近ではAIニュースちゃんとしてニュースを配信していることから、私とAIニュースちゃんの共同プロフィール画像に変更することにしました。

このプロジェクトの一環として、Stable Diffusionという画像生成AIを用いて、自分のラフスケッチから具体的なイメージに近いイラストが生成できるかどうかを試みました。最初に手描きで作成したスケッチは以下のとおりです。

このスケッチを、Stable DiffusionのImage2Image機能を用いてクリーンなイラストに変換しようと試みましたが、私のキャラクターが下書き状態のままになってしまい、AIニュースちゃんに全ての焦点が当たってしまいました。

そこで、私自身のキャラクターを別個に生成してみることにしました。スケッチを描く際にレイヤーを分けていたので、私だけの絵をImage2Imageに読み込ませて、Strengthを調整しながら何度か試行した結果、

以下のイラストが完成しました。

次に、AIニュースちゃんをイラストを無料ソフトであるペイント3Dのマジック選択で分離

別途生成してみました。しかし、一番気に入ったイラストには手が描かれていませんでした。

そこで、手を手書きで追加し、再生成を行ったところ、手が描かれたイラストが完成しました。

両者の画像を合わせると、ほぼ思い描いていたイメージが出来上がりました。

ただ、合成により白い隙間が見えたため、再度Stable Diffusionを用いて弱い強度で調整しました。

最後に、手描きで私のキャラクターにモサモサの毛と影を付け加え、イラストを完成させました。

今回の実験で、現実離れした服を着た犬とその肩に乗る女の子という構図をStable Diffusionで生成するのは難しいことがわかりました。しかし、それぞれのイメージを別々に作成してから合成するというアプローチにより、何とか目指すイラストを完成させることができました。

一見、非現実的なシーンでも、AIと人間の共創により、そのヴィジョンを具現化することが可能であることを確認しました。これらの技術がさらに進化し、私たちの表現の幅を広げてくれることを楽しみにしています。

ツイッターの方もよろしくお願いします。

Tweets by MrHiraiwa