Stable Diffusionでディープフェイクとリップシンクする方法

ディープフェイクとAI音声(リップシンク)
比較動画 pic.twitter.com/gDr0Cxaz5Y

— ジャッカルみたに (@AntrJackalCanon) March 5, 2024

上のXポストの動画は、オリジナル動画のディープフェイクに加えて
「おはようっ！」
というセリフが加わっています。

• ディープフェイク：任意の顔の入れ替え

• リップシンク：オーディオ音声に合わせて口を動かす

こちらのnoteではそれらのツールをStable Diffusion（以下、SD）上でする方法をご紹介します。

SD画像生成を行い、そのままSDのインターフェース上でディープフェイク、リップシンクができるって、めっちゃ便利じゃないですか？

しかも、これを使えば、しゃべらせ、歌わせを違和感なくできる。
そのうえディープフェイクの質もかなり高い。

ディープフェイクの質も悪くない

いろんなパターン試してるけど、違和感がマジでない。

仮にあってもマスク部分を変更できるので全然いける。

そのうえ短い動画でも任意の秒数にループさせられるんだから汎用性も高い pic.twitter.com/dTGMra95A5

— ジャッカルみたに (@AntrJackalCanon) March 8, 2024

再現性もかなり高く、ほぼ設定はデフォルトでOK。
初心者のSDクリエイタ―でも間違いなく使いこなせます。

是非ご覧ください。