【SadTalker】Stable Diffusion Web UIで口パク動画を作る方法

STEP１ Sad Talkerを導入

stable diffusionを開きます。
stable diffusionのインストールの仕方は別の動画に
あげていますので参考にしてくださいね。

Extensionをクリックし、Install from URlをクリックします。
こちらのリンクをコピーして、貼り付けます。
Installをクリックします。
インストールが終わったらstable diffusionを再起動します。

STEP２ モデルをダウンロード

モデルをダウンロードする前に、保存先のフォルダを先に作りましょう。
「stable diffusion-web ui」➡「extension」➡「Sad Talker」➡「checkpoints」をフォルダを新しく作成します。

こちらのリンクからモデルをダウンロードします。
フォルダ２つ、ファイル８つ、全部10個あります。

保存先は「checkpoints」にしましょう。
ダウンロードができたら、解凍しましょう。

ファイルが全部揃っているか確認してくださいね

STEP３ webi-user.bat を修正

「stable diffusion-webui」➡「web-user.bat」に入って
右クリックして編集を行います。
windows11の方は「その他のオプションを確認」を押すと
「編集」が出てきます。

テキストファイルを開いたら「checkpoints」のファイルのパスをコピーします。環境によって異なるので私のは参考にしてください。
※クォーテーション「”」は必ず消してください。

set SADTALKER_CHECKPOINTS=C:\Users\genil\stable-diffusion-webui\extensions\SadTalker\SadTalker\Checkpoints

STEP４ FFｍpegを導入

こちらのリンクをからダウンロードします。
解凍できない場合は、7-zipをダウンロードして解凍してみてください。
解凍できましたら、名前をffmegに変更し、ファイルをCドライブに入れます。

C:\Windows\System32に入って
CMDを右クリックし、管理者として実行をおします。
以下のテキストをコピーしてEnterを押しましょう。

setx /m PATH "C:\ffmpeg\bin;%PATH%"

成功と出たら無事インストール完了です。

STEP５ SadTalkerを使ってみましょう。

stable diffusionを開いてsad talkerのところをクリックします。
256×256 もしくは512×512の画像を用意しましょう。
私はmidjourneyを使ってこちらの女性の写真を用意しました。
Midjourney気になるけど、使い方が分からない方はこちらの
動画を参考にしてください。とても簡単です。
音声ファイルを音読さんを使って読み込みます。

次は設定を行います。
preprocessのところにはFULLにし
GFPGAN as Face enhancerにチェックを入れます。

実写だけでなく、イラスト画像も変換されますが、
顔がはっきり映ってないとエラーが出るので
写真を厳選する必要があります。