特定のキャラクターの様々なポーズを作ってくれる「consistent-character」を試してみる

画像を入れるとその画像のキャラクターと同じ状態で様々なポーズを作ってくれるという「consistent-character」を今回は試してみたいと思います！

🌐プロジェクトページ類

fofr/consistent-character – Run with an API on Replicate

Here's the first release of my consistent-character model on Replicate.

It uses InstantID, IPAdapter, Controlnet and FaceDetailer, with SDXL Lightning.

Prompt clothes and hairstyle for best consistency
It's open source but non-commercial, all links below 👇 pic.twitter.com/iTVIjR6HXe

— fofr (@fofrAI) May 31, 2024

consistent-characterの技術について

このconsistent-characterは一貫性を持たせたキャラクターの生成のため、InstantID、IPAdapter、Controlnet、FaceDetailer、SDXL Lightning を使用しているようです。
たしかに、そこらへん一帯を使えばいいかんじに作れそうですね！
生成物に一貫性を保つために服装と髪型をきちんと決める必要があるとのことで、promptも結構大事そうです。

さっそくやってみましょう！

キャラクターということで、わかりやすく赤いコスチュームを来たこの白髪の女性で試してみたいと思います。
画像を読み込んで、画像の説明をしたプロンプトをとりあえず簡単に入れて動かしてみる。

赤い服、白い髪、赤い帽子、赤いメイクとプロンプトに入れてみた

それでは実行してちょっと待ちます。これにはわりと時間がかかります。

で、できあがったのがこちら。

右側がoutout

ちょっと露出があやういところは潰しています

だいたいキャラクターがそのまま受け継がれていますね！
髪の毛の長さは指定しなかったのでロングになっていますが、色合いや顔つきなどはそのまま引き継いでます。

DEMOの画像を見ていると、イラストなどのタッチも引き継いだ生成もできそう。

タッチをうまく使っている

こうなってくるとポーズ違いのキャラクター画像の一括生成以外にも結構いろんな用途で使えそうな気がします！

consistent-characterの改良版を発見

このconsistent-characterの改良版を作った方もいらっしゃったので試してみました。

✨Consistent Character @gradio demo portage is available on @huggingface

(adapted from the original cog by @fofrAI 👋) pic.twitter.com/i4aenRqZgh

— Sylvain Filoni (@fffiloni) June 3, 2024

Consistent Character - a Hugging Face Space by fffiloni

これは複数枚outputを出してくれますね。
ということで同じ赤い服の女性の写真で出来上がったのがこれ。

今回は２枚のoutputの設定にした

こんなかんじに見やすく並べて出してくれるというのは便利です。
とまあ、今回はこんなかんじですね！
今日はここまで〜！