【ComfyUI】 アニメ絵をリアルな写真に変換する by ControlNet
アニメキャラクターを現実世界に連れ出すことができたら...そんな夢のような発想が、AIの力を借りて現実のものとなりつつあります。今回は、ComfyUIというオープンソースのAIツールと、その中でも注目の機能であるControlNetを使って、アニメ絵をリアルな写真に変換する方法をご紹介します。
この記事では、アニメファンやAI技術に興味のある方々に向けて、以下のような内容をお届けします：
必要な準備と設定手順
アニメ絵からリアルな写真への変換プロセス
結果の調整とさらなる応用
では、魔法のような画像変換の世界に飛び込んでみましょう！
1. 準備
カスタムノード
ComfyUI Managerから、以下のカスタムノードをインストールしてください。
ComfyUI ControlNet Auxiliary Preprocessors
ComfyUI WD 1.4 Tagger
Checkpoint
以下のcheckpointをダウンロードし、ComfyUI/models/checkpointsに格納してください。
Juggernaut XL
ControlNet
以下のControlNetのモデルをダウンロードし、ComfyUI/models/controlnetに格納してください。
t2i-adapter_diffusers_xl_lineart.safetensors
2. workflowのノード構成
以下がworkflowの全体構成になります。
以下は、参照元画像の読み込み処理です。 Load Imageで参照元画像を読み込んだら、WD14 Tagger、Realistic Lineart、VAE Encodeに入力します。
WD14 Taggerは、positive promptの生成を自動で行うために使用しています。タグの生成後に別で指定したpositive promptと連結させます。
Realistic Lineartは、画像をLineartに変換します。この後に登場するControlNetで使用します。
VAE Encodeでは、KSamplerのLatentに入力するために、画像をLatentに変換しています。
以下は、checkpointの読み込みとプロンプト作成部です。
checkpointは、Juggernaut XLを使用しています。LEOSAM HelloWorldやXXMix9realisticも試しましたが、最も綺麗に変換できたのがJuggernaut XLでした。
positive promptには、リアルな写真が出やすい品質のプロンプトを入力しています。negative promptには、品質劣化防止や、アニメやイラスト防止のプロンプトを入力しています。
positive promptは、WD14 Taggerで生成されたタグと連結しています。
以下はControlNet適用部です。今回は、LineartのControlNetを適用しています。ControlNetのモデルは、t2i-adapter_diffusers_xl_lineart.safetensorsを使用しています。Apply ControlNetのstrengthやstart/end percentは、各々で調整してください。私はstrengthを1.0、end_percentを0.7に設定しています。
最後にこれまでの設定をKSamplerに入力し、画像を生成します。CFG Scaleを2.0、denoiseを0.75に設定したら、良い感じに生成できました。
3. 生成結果
以下が生成結果になります。左が参照元画像、右が変換後の画像となります。服の柄が完全に再現できていないですが、それ以外は、概ねリアル化に成功しています。
左: 参照元画像
右: 変換後画像
ちなみに、checkpointやプロンプト、各種パラメータを調整すれば、リアル画像をアニメ画像に変換することもできます。
左: 参照元画像
右: 変換後画像
この記事でご紹介したAI技術の応用方法について、もっと詳しく知りたい方や、実際に自社のビジネスにAIを導入したいとお考えの方、私たちは、企業のAI導入をサポートするAIコンサルティングサービスを提供しています。以下のようなニーズにお応えします。
AIを使った業務効率化の実現
データ分析に基づくビジネス戦略の立案
AI技術の導入から運用までの全面サポート
専門家によるカスタマイズされたAIソリューションの提案
初回相談無料ですので、お気軽にご相談ください。以下のリンクからお問い合わせください。
この記事が気に入ったらサポートをしてみませんか？