入門編：AIで三次元固めコラを作ろう（２）

今回はControlNetを用いた固めコラの作り方を紹介します。
ControlNetは元画像からエッジ情報や深度情報を抽出し、その情報と指示文を組み合わせて生成結果を吐き出すような感じの技術です。僕もよくわかってないので、固めコラ用の秘密道具の一つだと思っていれば大丈夫です。
ちなみに世間ではポーズの指示が不要になるという画期的な技術としてもてはやされてます。わざわざ長々と英文や英単語を入力しなくても、３D人形や棒人形を作って、それを放り込めばポーズ指示が不要になるという塩梅です。

jagilley/controlnet-depth2img – Run with an API on Replicate

ControlNetには元画像からの情報抽出の方法がいくつかあるのですが、ここでは三次元固めコラ向きの抽出である depth を使ってコラを作っていこうと思います。
depth は画像の深度情報を抽出して画像出力に反映させる、という技術のようですが、特に気にしなくて大丈夫です。
例によってデモサイトがあるので、上記サイトにアクセスして見て下さい。
なお、こちらのデモサイトは無料ですが使用回数に制限があるようなので、本格的にControlNetを使ってみたい場合は、後日の記事を参照して下さい。

いざ実践

上記サイトにアクセスしたら、以下の画像のようにやってみてください。
左側に大きな絵が表示されているかと思いますので、その下に画像のような箇所があるかと思います。
（なお、画像サイズが大きいとエラーになりますので、512×512のサイズにしていただくのが無難かと思います。）

さて、submit のボタンを押すと、勝手に画面がスクロールして上まで戻ります。そして加工が終了すると、右側に読み取った深度情報の画像と、加工処理を行った画像が表示されます。

たまたま初期数値でそれなりの石像が吐き出された。ラッキー。

今回は数値を何もいじらずにそこそこ上手く行きました。
もし数値を変える場合は、# scale の数値を上げたり下げたりして見て下さい。
以上、ごくごく簡単ではありますが、これでControlNetでの固めコラの作り方の説明を終わります。
デモサイトでは弄れる数値も少ないので、もっと詳しく知りたい場合は後日の記事を参照して下さい。

次回は、GoogleColabを使ってInstruct Pix2PixやControlNetを動かす方法を解説します。
デモサイトは順番待ちで加工処理時間がかなり長くなることや、無料で実行できる回数に制限があったりしますので、本格的に固めコラを作りたい場合は、GoogleColabを使用することをオススメします。
（ローカル環境で実行できる場合はその方がもちろん良いです。）