LivePortraitで遊ぶメモ

このメモを読むと

・LivePortraitを試せる
・img2videoをお手軽に試せる
・顔写真を動かせる

検証環境

・OS : Windows11
・Mem : 64GB
・GPU : GeForce RTX™ 4090
・ローカル（pyenv+venv）
・python 3.10.11
・2024/7/B時点

LivePortrait

動画と顔写真を入力することで、
顔写真へ動きを付与することができます。

試してみましょう！

環境構築

とても簡単です！

1. リポジトリをインストールし、ディレクトリ移動

git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait

2. 仮想環境を作成し、環境切替

python -m venv .venv
.venv\scripts\activate

3. 追加パッケージのインストール

pip install -r requirements.txt

4. こちらから重みフォルダ ( insightface , liveportrait )をDL、解凍し
　./pretrained_weights 直下へ格納

5. テスト実行

python inference.py

完了です！
実行結果は　./animationsに保存されます。

LivePortraitを試してみる

顔写真を動かしてみましょう。

入力データをそろえる
　./assets/examples/driving へ 動画を、
　./assets/examples/sourceへ 顔写真を格納
　今回、動画は元から用意されている d9.mp4 を使い
　顔写真は以下を oji.jpg として用意しました。

oji.jpg ( https://pixabay.com/ja/ )

実行
　プロンプトから下記コマンドを実行します。

python inference.py \
  -s assets/examples/source/oji.jpg \
  -d assets/examples/driving/d9.mp4

結果
　./animations へ成果物が格納されます。

ルンルンおじ pic.twitter.com/C7gsXFWuL4

— おれっち (@__olender) July 7, 2024

おわり

img2videoで顔写真を動かせた。
実写であれば非常に精度の高い変換ができそうです。
VRAM使用量は3GB程度でしたので、お手軽に試せます。
リアルタイム変換もできるらしい。模索です。

おしょうしな

ねえこれ見て。衝撃的。左の女性が右のAI美女になって動いてる。しかもリアルタイム。ディープフェイクすら超越して時代は「リアルタイムアバター」に…。 pic.twitter.com/zoSdelWWpv

— さとり (@satori_sz9) July 7, 2024

参考にさせていただきました。ありがとうございました。