見出し画像

【Redream】おっさんが美女になって生配信ができる!?ショートアニメーション制作にも使える

これすご-AIクリエイティブ-

こんにちは、もゅたろです。
今回はStableDiffusionとRedreamを使って、画面にに映った映像をリアルタイムで画像を生成する方法について解説します。

この方法を使えば、カメラの映像を画面に映し、生放送で自分の顔をアニメにしたり、男性から女性に変えることもできます。

ただし、パソコンのスペックがかなり高くないと画像生成時間が長いためカクカクした映像になってしまいます。

使用する環境はローカル環境になります。

Redreamのインストール自体は非常に簡単ですが、StableDiffusionのローカル環境とControlNetの導入が必要になります。

動作環境

今回のテスト環境はGTX3060 12GBです。
安価なグラフィックボードのためなめらかではありませんが、もっと高性能なグラフィックボードであればぬるぬると動くかと思います。

Redreamの導入手順

Redreamを使用するにあたって、StableDiffusionがローカルにインストールされており、ControlNetが導入されている必要があります。

Youtubeでも解説しています

もしまだStableDiffusion、ControlNetが未導入の方は以下の記事を参考に導入してください。

Redreamのインストール

RedreamはStableDiffusionの拡張機能ではなく、別のツールになります。

準備ができている方は以下サイトを開き、Redreamをダウンロードします。

サイトを開き、「Redream」をクリックします

「Fictiverse_Redream_1.12.7z」をクリックしてファイルをダウンロードします

ファイルがダウンロード出来たらファイルを解凍してください。

もし解凍ソフトがない場合は以下のソフトがおすすめです。

StableDiffusion「webui-user.bat」の設定変更

これはRedreamとStableDiffusionを連携するために必要な作業です。

いつも使っている「webui-user.bat」を右クリック編集でメモ帳で編集画面を開きましょう。

以下の行を編集してください。
修正前：set COMMANDLINE_ARGS=
修正後：set COMMANDLINE_ARGS=--xformers --api

Redreamの使い方

Redreamの起動方法

まずは、StableDiffusionをいつも通り起動します。
「local URL: http//127.0.0.1:7860」が表示されていればOKです。
Web UI は起動しなくても大丈夫です。

次にダウンロードしてきたFictiverse_Redreamフォルダ内にある「Redream.exe」を実行しましょう

この画面がでれば準備完了です。

Redreamの操作方法

設定ボタンを押してモデル、コントロールネットを選択します。
ControlNetを使わない場合はNoneを選びます。

設定項目はStableDiffusionとほとんど同じです。

  • Seed値：-1にするとランダムですが、いずれかの数値にして固定しておいたほうが固定されたキャラクターになりやすいです

  • Steps：20くらいがおすすめ。高いと画像生成時間が伸びます。あまり低すぎると画質が粗くなります。

  • Denoising stength：0.5あたりがおすすめ。高くすると画像よりもプロンプトを優先、低くするとプロンプトよりも画像を優先する。

  • CFG Scale：使用するモデルによって適正値が違いますが、7～10くらい。
    調整してみてください。速度にはあまり関係ありませんでした

  • Smapler：使用するサンプラーによって画像生成速度が大きく変わります。DDIM,Euler a,DPM++ 2m karrasが速くておすすめ。

プロンプト、ネガティブプロンプトを入力します。
画像生成画面の表示をクリックします

画像生成範囲が出てきます。
マウスの右クリックで範囲を移動できます
アスペクト比変更、サイズ変更で適用範囲を調整してください。

画像生成範囲に画像やビデオが入るように調整してください。
範囲を適用するボタンを押すと白くなり、もう一度押すと黒くなります。

黒くなっている範囲は画像生成されません。

範囲を塗ることもできます。
塗った範囲（白くなった範囲）だけが画像生成されます。

最後に、左上の右矢印ボタンをおすと画像生成が開始されます。
金髪美女に変わりましたね。

これを応用すれば、リアルタイムで顔だけを美女にすることができそうですね。※ただし、ハイスペックなGPUが必要だと思います。

StableDiffusionの画面では高速で画像生成が実行されています。
私のパソコンはかなり安価なグラフィックボード（GTX 3060）のため、生成速度はかなり遅めです。

https://pcfreebook.com/article/459993300.html

おそらく、RTX3090であれば割のぬるぬる動きそうです。

Redreamでキャラクターを固定する方法

速度を出しつつ、キャラクターを固定するのはかなり難しいように感じました。

キャラクターを固定するために重要な設定は以下の３つだと思います。

  • ControlNet：OpenPose、Canny、SoftEdge
    CannyかSoftEdgeが再現性が高いです。

  • Seed値：どれかの値に固定したほうがいいです

  • Denoising stength：高くしすぎるとキャラクターがばらばらになるので、できるだけ低くしましょう。ですが、低いと実物に似てしまうので難しいところです。

まとめ

パソコンにかなり負荷がかかるので長時間の使用はおすすめしません。

画像と文字で説明するとなかなか難しいですね。
理解できなかった方は、Youtubeの解説動画を見てくださいね。

この記事が気に入ったらサポートをしてみませんか？