![見出し画像](https://assets.st-note.com/production/uploads/images/98620187/rectangle_large_type_2_99b8cf37a6b76c8d0e451dd41ad4a6aa.png?width=1200)
AIアート: Controlネットは凄すぎる 動画を作ってみましょう。
長い間、毎日日本語を熱心に勉強し続けていましたが、最近さぼるようになりました。
なぜ?
全てはAIアートを始めたからです。
![](https://assets.st-note.com/img/1677021900401-uc590Islj6.png?width=1200)
先月から自分のモデルを訓練して、私が持っているギャルバースのギャル(クルミちゃん)はAIモデルになり、パンドラの箱を開けたような気分で、夢中になりました。アートスキルなしで、PFP画像から5秒で全身像にするのは、めちゃくちゃ楽しいです。
![](https://assets.st-note.com/img/1677034288270-JIbTax1Ndb.png?width=1200)
![](https://assets.st-note.com/img/1677021824839-BBUI5EPynm.png?width=1200)
この結果はすべてtext2img機能から作られましたが、最近 Img2Imgの機能から動画を作ってみたいです。
そして、最近 Controlネットというモデル拡張が開発されて、img2imgの機能は飛躍的に向上しました。
![](https://assets.st-note.com/img/1677022053786-7iDIhDIf6K.png?width=1200)
今回の記事では、「ControlNetは何ですか?」と「私の最近の結果 」を紹介してあげます。
この記事では、自分でセットアップする方法については、Qiitaブログで詳しく書く予定なので、深入りしない。(完了する際にリンクを付けります)
Control Net とは
コントロールネットはAIアートのDiffusionモデル中でニューラルネットワークを包むものです。
新しい入力画像を追加して、AIアートのモデルの出力を目的の出力に誘導することを可能にする
https://github.com/lllyasviel/ControlNet
![](https://assets.st-note.com/img/1677019061587-pBnqSx4vis.png?width=1200)
COntronネットは輪郭やポーズ検出などのモデルやアルゴリズムからの予測を使用しています。現在(2023/02) 8種類があります。今日 は、CannyとDepthのmapを紹介してあげます。
Cannyという手法は輪郭検出のアルゴリズムです。pythonのCV2のモジュールではよく利用している機能です。
Cannyは体の輪郭や詳細の
Depthとは「DepthMap」です。画像の深度情報を作成して、視点から物体の距離を表すことができます。
CannyとDepthのテスト
漫画画像から結果を調べてみましょう。最近「推しの子」を読んでいるので、カワイイMemちょを題材にして、私の開発のキャラモデル(SallyDangerのLora)を利用して、変化してみましょう
![](https://assets.st-note.com/img/1677022651735-hEKQe3AXLl.png?width=1200)
2つの方法を比較すると、Depthが画像をさらに変化させるため、cannyは入力画像に近い状態を保ちます。そして、Depthの場合は、キャラのモデルとそっくりです。それは
![](https://assets.st-note.com/img/1677023090004-PEVzLx2r21.png)
動画作成のテスト
上記の例から、Depthの手法は元の画像のポーズを保ち、大きなキャラの変化もできます。これは、素晴らしい改変映像の可能性をたくさん秘めていますね。次のテストでは、AI動画を作ってみましょう。
しかし、動画でAIを使いたい場合、各フレーム間の整合性の問題があります。動画で同じのキャラを変化したいですが、もしかし、急に別のキャラやフレームの間に大きな変化があったら、ちょっと違和感がありますね。
Lora
私は現在実験中ですが、Loraのモデルを共に利用したら、その問題を解決できます。(Loraのモデルは次回の記事です)Loraのモデルは30分以内で、対象のキャラのモデルを訓練させることができます。高級なパソコンは必要ないです。無料版なGoogleColabは十分です。そして、Kohyaさんは、簡単に使えるノートブックを作ってくれたので、コードの勉強をする必要はありません。
![](https://assets.st-note.com/img/1677033797431-24wvxMwqEU.png?width=1200)
AI動画作成
今回、Tiktokのダンス動画を支配されているmumeixxxさんの動画を作ってみます。最初に、整合性がある結果を追究します。このステップではプロンプトの設定を微調整するために、多くの試行錯誤が必要です。(設定の動画参考)
![](https://assets.st-note.com/img/1677033411339-GGcAKqoHzD.png?width=1200)
よさそうな整合性の結果をゲットしたアットで、Batchモードを使います。これは、上記の結果と同じプロンプトを取り込み、1フレームごとに実行します。200枚以上のフレームがあり、一時間ぐらいかかりました。そして、その後、GIFに合成しました。
![](https://assets.st-note.com/img/1677027204363-eYHkbXA4BV.png?width=1200)
結果画像は、YouTubeで投稿して、ぜひご覧ください
それぞれのフレームでは、同じの顔や髪色や服スタイルを一貫してキャプチャしましたが、各フレーム間で背景や細かいディテールにかなり変化があります。まだまだ実験中ですね。
![](https://assets.st-note.com/img/1677035340798-Y3vOKB2dGk.png?width=1200)
結論
ControlNetを使えば、希望の通りにAIアートを作成できます。そして、このツールは、まだまだ発展途上の素晴らしいツールです。執筆時点 で 公開から一ヶ月も経っていません。この現実はちょっと怖いです。AIアートの進歩は目にも止まらぬ速さです。また、今後数ヶ月の間に多くの改善が見られることを期待しています。
ContronlNetを使ってみれば、ぜひ結果は私に共有してください (Twitter: JarvisSan22)
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか?