【表情だけ動く】LivePortraitを使ってみた話【AI生成】

はじめに

静止画から表情変化の動画への変換が高速に処理できるという事で、ローカルでも十分利用できるのではないかと思い試してみました。

LivePortraitとは

「ステッチング」と「リターゲティング制御」を組み合わせたポートレートアニメーション技術だそうです。調べていないので筆者には何の事かわかりません。

LivePortraitは、静止画をリアルなアニメーションに変換する技術です。この技術は、特定のアルゴリズムとニューラルネットワークを使用して、静止画像から特徴を抽出し、参考動画の動き情報を適用することで、まるで生きているかのようなアニメーションを生成します。

ChatGPT 4o

LivePortraitのレポジトリはこちら。

実際に利用（ComfyUIカスタムノード）したのはこちら。中国語でかつ変更も激しいようですので、使用方法は割愛します。

出来たもの

下画像を入力静止画として利用します。

入力静止画

#AIart #liveportrait #そうじゃない
やっぱり動画は面倒ですよね。 pic.twitter.com/gDEj3nXiCo

— Catapp Art3D (@Catapp_Art3d) July 19, 2024

#AIart #liveportrait pic.twitter.com/LvnXVhBNcC

— Catapp Art3D (@Catapp_Art3d) July 19, 2024

静止画に応用

動画→動画で利用すればもっと自然にできるのではと思いますが、静止画スタートだと、どうしも顔だけが動くので不自然になってしまいます。

しかし表情クオリティは高いので、表情作りであれば、静止画用のControlNetよりもより自然で綺麗になっていると思います。

元画像に再合成します。

元画像（AI生成画）の顔を差し替える

まとめ

動画は（高品質なものを作ろうとすると）ローカルでは難しいのですが、リアルタイムでの変換を想定している LivePortrait は、メモリもほとんど占有せず、筆者のRTX 3060 でも非常に高速に動作しました。