動画生成を2分に短縮⁉️HunyuanVideo & ComfyUIの使い方🚀GGUF, LoRAで効率UP!無料クラウド利用法も解説💖初心者さんも簡単✨
どうも皆さん!スマホの充電コードを探すときは、まるでミステリー探偵のように家中を捜索する、そんな日常を送ってます!葉加瀬あい(ハカセアイ) です!
今回は、ComfyUIで無料で作れる、HunyuanVideoのモデルを使って、高品質な動画を簡単に、しかも高速に生成する方法について解説します!
動画生成って、時間がかかって大変ですよね?高画質な動画を作ろうとすると、高性能なPCが必要だったり、設定が複雑だったり、30分以上待たされることも…。「自分のPCでも、手軽にきれいな動画を作りたい!」と思いませんか?
実は、HunyuanVideoとComfyUIを組み合わせることで、その悩みを解決できるんです!さらに、今回は特別なテクニックを使うことで、なんと動画生成時間を大幅に短縮する方法も紹介します!
ということで今回お話しする内容はこんな感じです!
① 無料クラウド環境でも使える、HunyuanVideoとComfyUIの基本的な使い方と、そのすごさを徹底解説!
② データ容量やPCのスペックに悩んでいる方必見!GGUFを使った量子化で、軽量&高速に動画生成を実現する方法とは?
③ 30分かかっていた動画生成が、たったの2分に!?動画生成時間を劇的に短縮する、驚きのテクニックを大公開!
それで、私の メンバーシップ に入門されている方は、いつものように記事内容を 『動画』 で見ることができます!
こちらのURLからご覧ください!
https://note.com/ai_hakase/n/n22b0cb615284
それから、Noteのメンバーシップ の入門者さんには 質問対応 なども行っていますので、感想や質問などありましたら、できれば Xのリプライ で教えてください!
XのDM や Noteのコメント でも構いません🙆♀️
※ 質疑応答の際は 『NoteのID + 質問したいNote記事のURL』 を添えてください。
それでは、本日もよろしくお願いします!
HunyuanVideoの最新情報と使い方
ということで、今回は前回の記事に引き続きまして HunyuanVideoの最新情報 や、 知っておくとお得な便利な使い方 などについて解説をしていきたいと思います⋯!
一応、HunyuanVideoの概要についてはこちらの記事で詳しく解説をしていますので、よかったら見てみてください!気軽に試してみたい方向けの、無料で簡単に試せる方法なども解説しています。
そして、こちらが最近ご紹介した記事でして、ComfyUIでHunyuanVideoのモデルを使って、具体的な使い方などを解説しています。
実は最近、 ComfyUIで正式にサポート が行われたので、基本的には無料で使えるんですけども、クラウド環境から使ってもらう形でも大丈夫ですし、自分のPCからでも簡単に使えます!
まずは基本的な使い方などを、ワークフローを配布しながら解説していますので、
ハンズオンなどで全体的な動きを見てみてください!
黒猫が宅急便を運ぶ動画も作れちゃう!HunyuanVideoの具体的な使い方**
最終的には、 黒い猫が宅急便を運んでいる動画 なども作成できるようになりますよ⋯!
もう一度、参考記事のURLを載せておきますので、良かったら見てみてください!
動画生成時間を30分から2分に短縮!
と、こんな感じで、これまでの記事では、 HunyuanVideoの基本的な概要 などをご紹介しました!
今回は、その具体的な操作方法などを見ていきたいと思います⋯!
なんと、今回の方法を知っておくと、こんな風に、以前は30分かかっていた動画生成が、なんと 2分ぐらいまでに短縮 することができちゃいます⋯!
GGUFを使った量子化で容量問題を解決!
それと今回は、前回の記事で要望が多かった GGUFを使った量子化 などについても解説していきます。クラウド環境などで容量が限られている場合や、ご自身のPCのVRAMが12GBぐらいしかない場合でも使えるようにしていきたいと思います!
今回のワークフローでできること
今回のワークフローでは、GGUFやLoRAを適用したり、英語のプロンプトの生成を簡単にする、チャットAI(LLM)を使ったりしていきます。
そのため、動画生成も早くなりますし、お気に入りのキャラクターで簡単に動画を作れるようになれます!本当にいろいろなものが、てんこ盛りな感じになっているので、ぜひ最後まで見ていってください!
ワークフローを配布します!
今回、こちらのワークフローは皆さんに配布いたします!
今度解説しようと思っているんですけど、今回生成した動画を使って歌声を生成したり話し方を生成したりといったことも今後やっていきたいと思います!
ComfyUIの操作方法と環境構築
今回の動画や記事に関してなのですが、いつも通りこちらのように ComfyUI を使っていくので、操作がよくわからない方は初心者向けにサクッと大事なところだけ解説した記事と動画を用意しているので、よかったら見てみてください!
無料クラウドサービスでComfyUIを使う方法
また、ComfyUIをクラウド環境から無料で使ったりする方法などに関しては、こちらで解説をしています。
ノートブックというものを上から順番にクリックしていくだけで、ComfyUIを無料のクラウドサービスで立ち上げることができるようになります!まだComfyUIの環境をお持ちでない方は、そのあたりも見てみてください!
ComfyUIのワークフローとモデルの準備**
それでは、今回のワークフローについてです⋯!最終的にはこのようなワークフローを皆さんにお配りして、そこでモデルとかLoRAとか、高速化技術などを適用していく流れになります。
まずは必要なもののインストールからやっていきましょう⋯!
モデルのダウンロードと保存場所**
そうしましたら、まずはモデルのダウンロードからです!
モデルに関しましては、以下のようなフォルダに保存します⋯!
ComfyUI\models\diffusion_models
今回のメインである GGUF のモデルについてです。クラウド環境だと、ここら辺がいいのではないでしょうか⋯!
GGUFモデルの入手先**
他にも、こちらに各GGUFモデルの一覧がございます⋯!
VRAMの目安について**
VRAMの容量 によって、どのモデルを使用すれば良いのか目安をご紹介いたします⋯!
まず、 VRAMが15GBから16GB程度 の方です!クラウド環境や、16GB前後のVRAMを搭載したPCをお使いの方は、下の画像の赤枠で囲った部分のモデルがおすすめです⋯!
次に、 VRAMが12GB前後 の方や、クラウド環境の容量が気になる方は、上の画像の赤枠で囲った部分のモデルが良いかもしれません⋯!
FP8版のGGUFモデルについて**
FP8版のGGUFモデル はこちらからダウンロードできます⋯!
ちなみに、 GGUF というのは単純に量子化されたモデルで、平たく言えば、簡単に圧縮したものになります。
そして、 FP8版 というのは、AI用により詳細にスケールされたものです⋯!
こちらからダウンロードすることができます。
ただし、FP8版は動画生成のクオリティがかなり高いらしいのですが、その分LoRAが効かなかったりすることがあるようです。
このあたりは、クオリティや作りたいものと相談して、ケースバイケースで切り替えていくのが良いと思います⋯!
Clipモデルについて**
それと、一応前回のおさらいになりますが、 Clipモデル も一緒にダウンロードしておきましょう⋯!
Clipモデルの配置場所はこちらです。
`ComfyUI\models\clip`
必須のClipモデルをダウンロードしよう!**
もう一つ Clipモデル がありますね⋯!ここに関してはひとまずは、ここら辺を使ってみてください。
それと、2つ目のClipモデル(Clip-L)についてです。こちらに関してはもう少し、ちゃんとした物が生成できる Long Clip Model というものもあるんですけども、そこに関してはここで書くと、ちょっとややこしくなりそうなので、簡単な解説にとどめておきます!
先ほどの2番目のClipモデル( Clip-L )と入れ替えて使ったりなどしてみてください⋯!
高精度な画像認識を実現するLong-CLIPモデル**
まず一つ目がこちらです⋯!90% の ImageNet/ObjectNet 精度を備えた新しい ( 最高の ) SAE 情報 Long-CLIP モデル 。
HunyuanVideoに最適なCLIPモデル**
それともう一つがこちらです! HunyuanVideo に使用するのに最適な CLIP モデルはこちらです!
VAEのダウンロード手順**
それと、あとは VAEのダウンロード になります⋯!こちらに関しても、こちらのURLからダウンロードできるので、ダウンロードしてみてください。
ダウンロードする場所はこちらになります。
`ComfyUI\models\vae`
LoRAのダウンロード方法**
次に LoRAのダウンロード になります!
Hunyuan VideoのLoRAに関してですが、基本的には Civitaiなどからダウンロード していただければ大丈夫だと思います。
一応現在確認できる中でも49件ぐらいですかね⋯。見えていまして、こんな感じでコスプレをさせたり、あとは動物を動かしたりとかですね⋯!といった色々なLoRAが出ているので、お好みのものを使ってみてください。
最新動画生成モデルのご紹介**
今回は、最近SNSで話題になっている、こちらの動画モデルのα版を使っていこうと思います⋯!
Hunyuan VideoとLoRAのトレーニング
Hunyuan Videoは、結構ここら辺の LoRAの動画版のトレーニング も盛んにおこなっているようです。
以前は24GB必要とのことだったのですが、どうやら時間をかければ16GBとかでもできるようになったりしているんですよね!
それでそのLoRA作成の仕方とかについてですが⋯トレーニング方法が今、すごく簡単で無料でできるものが作成されている最中なのです!
こちらもその作成がコミュニティ内で一旦落ち着いたら、皆さんにご紹介していこうと思っております!
お楽しみに⋯!
Hunyuan Videoの高速版LoRA**
それとあとはLoRAつながりでもう一つですね!
Hunyuan Videoには 高速版のLoRA というものもあります。
そちらに関しては、こちらからダウンロードすることができるのでぜひ見てみてください!
一応少しだけネタバレすると、こんな感じでオンオフをして高速化のLoRAを適用するかどうかを、簡単に選ぶことができます!
プロンプト作成をAIに任せる方法**
それと、プロンプトのところは、Googleの「Gemini」というAIを使って日本語で雰囲気を指定してあげると、それっぽいプロンプトをAIが自動的に作ってくれるものも作成してみました⋯!
こちらに関しては、APIキーの取得や設定などが必要となりますので、また次回の記事で詳しく解説していきたいと思います。
自由入力用のプロンプトのテキストボックスを使用する**
なので、ここら辺のやり方がよくわからない⋯という方は、こちらの自由入力用のプロンプトのテキストボックスを使ってみてください。
テキストからノードを接続する方法**
一応やり方としましては、テキストのところからノードを伸ばして、ここの「Clip テキストエンコーダー」のところにつなげてあげればOKです。これで皆さんが記入したプロンプトの通りに、動画生成を行ってくれるかと思います。
ワークフローの適用方法
それでは、ここまで準備ができたら、早速ワークフローの適用をやっていきましょう!
そして、ここからの詳しい手順や、さらに効率化するための上級テクニックについては、私のNoteのメンバーシップ、もしくはYouTubeのメンバーシップ限定で公開しています!
「もっと詳しく知りたい!」「効率化して、他の人よりもっとすごい動画を作りたい!」という方は、ぜひこちらのURLからメンバーシップにご参加ください!
メンバーシップでは、皆さんからの質問にもお答えしているので、参加人数を限定させていただいています。
「参加したいけど、定員オーバーで入れなかった…」なんてことにならないように、興味のある方は、ぜひお早めにチェックしてみてください!
それでは、メンバーシップに参加してくださった皆さん、ありがとうございます!ここからは、さらに踏み込んだ内容をお届けしますね。
まずはワークフローのダウンロードからですね。
ワークフローのダウンロードはこちらからお願いいたします。
この記事が参加している募集
この記事が気に入ったらチップで応援してみませんか?