光源を操作できる「IC-Light」の可能性

2024年5月16日 09:43

マーケ業務改善×生成AI｜RGさんが以下のNoteで「IC-Light」を使った雑コラからの可能性を記事にしてくれています。

私は本職が広告デザインなのですが、IC-Lightは広告業界でのAI活用の可能性を大きく広げるAIモデルとして注目しています。

これまでの画像生成AIでは、文字通り画像を生成するので創作物しか作れませんでした。実際の商品を反映したイメージを作成することができないため、実際の広告分野では、画像合成に使用するマテリアルの作成や雰囲気を表現するイメージ画像にとどまり、実商品のないイメージ展開に限られていました。

「IC-Light」がこの問題を解決しています。

商業利用に使えうる商品自体を保ったままの画像生成を実現し、広告デザインに革命をもたらす可能性を秘めています。

導入と使い方

ターミナルから以下のスクリプトを実行します。
※condaコマンドで実行します。AnacondaやMinicondaを導入していない場合はvenvで仮想環境を作成して作業してください

Gitのクローン

 git clone https://github.com/lllyasviel/IC-Light.git

Anacondaの環境構築

cd IC-Light
conda create -n iclight python=3.10
conda activate iclight

インストールと実行

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
python gradio_demo.py

Macの場合CUDAがサポートされていないため、CUDAを使用するPyTorchのインストールが失敗しています。
手動でPyTorchをインストールし、コードをCPU実行用に一部変更する必要があります。以下の1-2を作業後に2行目以降を実行してください。

▽1. PyTorch

▽2. CPUで実行するため、gradio_demo.py / gradio_demo_bg.py / の以下の2箇所を修正します。

device = torch.device('cuda')
↓
device = torch.device('cpu')

text_encoder = text_encoder.to(device=device, dtype=torch.float16)
vae = vae.to(device=device, dtype=torch.bfloat16)
unet = unet.to(device=device, dtype=torch.float16)
↓
text_encoder = text_encoder.to(device=device)
vae = vae.to(device=device)
unet = unet.to(device=device)

これらの変更により、スクリプトはCPUで実行されるようになります。ただし、CPUでの実行は、GPUと比べて処理速度が遅くなります。

起動方法は以下の通りです。

<IC-Lightの起動方法> 
python gradio_demo.py

<IC-Lightで背景を指定する場合の起動方法>
python gradio_demo_bg.py

実行後、「Running on local URL: http://0.0.0.0:7860」と表示されれば準備完了です。ブラウザでhttp://localhost:7860/をひらけばIC-Lightのユーザーインターフェースが表示されます。

結果、私の貧弱なm1 macでは使い物にならない遅さだったので、素直にGoogle Colabでやった方が良さげです。（涙

今回は日頃ComfyUIのカスタムNodeなどでお世話になっている-Zho-氏のものを使用します。Notebooksを開き、自分のGoogleドライブへコピー(ファイル>ドライブにコピーを保存)すれば使えます。

一番上にあるブロックの再生ボタンを押し、停止するまで待つ
GitHubからリポジトリをcloneして、必要なモジュールのインストールを実行している

次に「Relighting with Foreground Condition」と「Relighting with Foreground and Background Condition」の二つがあるが、これはどちらかを実行。後者は文字通り、背景も含めたライティングが可能になります。

商品の雑コラ合成で広告イメージ作成！

例えば、商品の広告キャンペーンを考えると、これまではプロによる撮影と画像合成が必要でした。特に、背景に合わせた商品のリアルな陰影や質感を表現するためには、多くの手間と時間がかかっていました。しかし、「IC-Light」を使えば、AIが自動でリアルな商品画像を生成し、自然な陰影を付けることができます。これにより、短時間で高品質な広告画像を作成することが可能となります。

AIで商品の変更

ダンサーの靴を雑コラでNバランスの商品イメージに変更してみます。

右足の靴の角度が足とあっていないので、不自然感はありますが、角度の合わせた商品を用意できれば概ねイメージ写真としては成立すると思います。

包丁の商品イメージ

刃自体の風合い（？）が処理されて綺麗な刃になっちゃってますが、こういった背景はなかなか自前で用意できないので有用な使い道になります。

やっぱり得意な人物合成

コスプレで世界観を表現するのに背景画像を作って合成することも可能です。ココナラなどで依頼しても数万は必須ですが、それがサクッと1クリックで終わってしまいます。

「IC-Light」の可能性

比較的わかりやすい例で紹介しましたが、自分で合成作業をやったことがある人ならかなりの衝撃を受けていると思います。
合成写真において重要なのは陰影の扱いであり、これまでは商品の影の処理にはプロの技術を必要としていました。しかし、「IC-Light」ではAIによって影の自動処理が可能となり、これは広告デザインの領域において革命的な進歩だと言えます。

商品画像の変化が少ないとはいえ、完全に変化がないわけではないため、商品によっては不向きなものもあるかもしれません。しかし、商品のイメージ写真の作成がAIで可能になったことは、これまでの生成AIでは実現できなかった領域への挑戦であり、広告デザインの可能性を大きく広げるものだと言えるでしょう。

おまけ情報

ComfyUIは最新の技術に即対応してくれることが多く、IC-Lightに関しても早速カスタムNodeが登場しています。
マスクを生成しそれを使って画像の光を作るComfyUI-IC-Light-Wrapperです。グラビアやポートレートで使われる正面からのフラット光を再現することも可能になります

光源の位置やサイズを調整すれば、ポートレートライトのような写真を作り出せます。まだ私も軽くしか触っていませんが、photoshopなどでゴリゴリ合成する必要がなくワンクリックでプロレベルの合成が可能になったのことで様々な可能性が広がると感じています。

この記事が気に入ったらサポートをしてみませんか？