🚀 衝撃のIC-Lightを自宅のMacで実装してみた！驚きの結果とその手順を公開

2024年5月9日 23:34

画像生成AIの世界に、またもや革新的なツールが登場しました。ControlNetの開発者として知られるlllyasviel氏が手がける「IC-Light」。テキストや背景画像から照明条件を指定するだけで、まるで別環境で撮影したかのような画像を生成できるのです。

🌟 IC-Lightが実現する自在な照明操作とは？

IC-Lightは、前景画像（人物やオブジェクトなど）とテキストプロンプトや背景画像から照明条件を読み取り、指定通りの照明が反映された画像を生成します。

現在公開されているのは以下の2種類のモデル。

テキスト条件付きリライティングモデル：「美しい女性」「温かい雰囲気」など、テキストで照明の雰囲気を指定
背景条件付きモデル：背景画像を指定し、その照明に合わせて前景の人物などを自然にリライティング

ControlNetで画像生成の幅を大きく広げたlllyasviel氏が放つ、また一つのゲームチェンジャーの登場と言えるでしょう。

🎥 写真家やCGクリエイターの強力な武器に

IC-Lightが、写真家や動画・CGクリエイターの制作を大きく変える可能性は高いです。

例えば写真家は、撮影時の照明条件に悩まされることがよくあります。曇りの日に撮った写真の雰囲気を晴れの日のように変えたい、といったニーズにもIC-Lightなら応えられるのです。

CGの世界でも、キャラクターに自然な照明を当てるのは至難の業。それがIC-Lightなら、背景の照明に合わせて自動調整してくれる。制作のスピードアップにも期待大ですね。

💡 HDR空間での照明の一貫性がカギ

IC-Lightがこれほど自然な照明操作を可能にしているのは、HDR（High Dynamic Range）空間の特性を活用しているから。

HDR空間では、複数の照明画像を合成しても、光を混ぜた時と同じ結果になるという一貫性があります。IC-Lightのニューラルネットワークは、この性質を保つよう学習されているのです。

lllyasviel氏らの技術力の高さを物語る、まさに革新的なアプローチと言えるでしょう。

IC-Lightの登場で、画像生成AIの表現力はますます拡大しています。クリエイターの創造性を最大限に引き出すこのツールが、どんな作品を生み出していくのか。今から楽しみでなりませんね。

🙌 IC-Lightを試してみた！驚きの実装レポート

私は、Mac（32GBメモリ）環境でIC-Lightを試してみました。githubのリポジトリにある手順通りに実装を進めたところ、驚くほどスムーズに動作させることができました。

手順はこんな感じです。

リポジトリをクローン
conda環境を作成し、必要なパッケージをインストール
gradio_demo.pyを実行

ただし、Macではデバイスの指定をcudaからmpsに変更する必要がありました。具体的には以下のようなコードになります。

# Device
device = torch.device('mps')
text_encoder = text_encoder.to(device=device)
vae = vae.to(device=device)
unet = unet.to(device=device)
rmbg = rmbg.to(device=device)

また、処理の重さを考慮して、ステップ数を25から6に減らしてみました。すると、たった6ステップとは思えないクオリティの画像が生成されたのです！

IC-Lightの威力を目の当たりにし、私は心底驚きました。lllyasviel氏らが生み出したこのツールは、間違いなく画像生成AIの未来を切り拓く存在になるでしょう。

IC-Lightの活用事例は、今後も当ニュースレターで取り上げていきます。ご期待ください！

それでは、次号もお楽しみに。

この記事が気に入ったらサポートをしてみませんか？