FasterLivePortraitで一枚絵をカメラ画像でリアルタイムに動かす！

FasterLivePortraitは、静止画のポートレートをリアルタイムで動かすための強力なツールです。
こちらのgithubを参考に導入しましたが、メモ代わりに導入手順を残します。
https://github.com/warmshao/FasterLivePortrait/blob/master/README.md

必要なもの

• Windows 10/11 PC

• NVIDIA GPU (RTX 30シリーズ推奨)

• Pythonインストール済み

ステップ1: リポジトリのクローン

①FasterLivePortraitを保存したいフォルダで右クリックして「ターミナルで開く」を選択
②起動したコマンドプロンプトでGitHubからFasterLivePortraitのリポジトリをクローンします。

git clone https://github.com/warmshao/FasterLivePortrait.git

③FasterLivePortraitがインストールされたらディレクトリを移動します。

cd FasterLivePortrait

ステップ2: 仮想環境の作成とアクティベート

①Pythonの仮想環境を作成し、アクティベートします。

python -m venv venv

.\venv\Scripts\activate

ステップ3: 依存関係のインストール

必要なパッケージをインストールします。

pip install -r requirements.txt

pip install ffmpeg-python

ステップ4: CUDAとcuDNNのインストール

CUDAとcuDNNをインストールします。以下のリンクからダウンロードしてインストールしてください。インストール後、cuDNNのファイルをCUDAのインストールディレクトリにコピーします。

• CUDA

• cuDNN

ステップ5: ONNXモデルのダウンロード

必要なONNXモデルをダウンロードします。

huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints

ステップ6: TensorRTモデルの変換

ONNXモデルをTensorRTモデルに変換します。

all_onnx2trt.bat

ステップ7: オリジナルの画像を格納するフォルダを作成

①FasterLivePortraitフォルダ内で右クリックしてmy_portraitsフォルダを新規作成
②フォルダ内にお好きなjpg画像を保存。ここでは123.jpgとしました。

ステップ8: リアルタイムに動かすカメラを起動

①FasterLivePortraitフォルダ内で右クリックして「ターミナルで開く」を選択
②コマンドを以下のように入力します。/123.jpgはあなたが付けたファイル名に置き換えてください。※PowerShellの場合は下段のコード

camera.bat my_portraits/123.jpg

.\camera.bat my_portraits/123.jpg

以上でカメラが起動して動かせるはずです。