見出し画像

テキストからビデオ生成ができるオープンソースモデル「CogVideo」を試してみる

SUTO💡

CogVideoとは

CogVideoはtext to videoの新しいオープンソースモデルです。比較的高いフレーム レートのビデオを生成できるというのも売りのようでした。
いままでtext to videoはStable Video Diffusionとかなど試してみたことがありましたが、今回はどうでしょうか。とても楽しみです！

🌐プロジェクトページ類

💪試してみる

デモ画面

簡単なプロンプトを強化してくれるボタンもあって親切感満載✨

これはありがたい

たとえば「可愛い白猫ちゃんが部屋で遊んでいる」と入れておくと、

こんなに情景をリアルにしてくれる。

明るく好奇心旺盛な目とピンクの鼻を持つふわふわの白猫が、暖かく黄金色の光が差し込む部屋で戯れています。猫は豪華なアームチェアに優雅に飛び乗ると、柔らかい足はクリーム色の布の上をほとんど音を立てません。きらめく毛糸玉を追いかけ、愛らしい決意と遊び心で飛びかかったり転がったりします。一瞬立ち止まり、まっすぐに座り、尾を足にきちんと巻き付け、完璧なポートレートのポーズをとっているかのようです。その後、猫は窓に向かってダッシュします。そこでは、太陽の光が雪のような毛皮の周りに輝く光輪を作り出し、部屋中を楽しく踊り続けます。

せっかくなのでそのままジェネレート。

できた！

ふわふわの白猫ちゃん！かわいい〜🐱 動きもちゃんと猫です！


mp4の他にgifも出せた
gif

お次は人間で👤
スノーボードをする女性を生成してもらいます。

うん、ちゃんとボードを滑ってますね！よきよき！
このあとは試したものを順次gifで載せていきます。

ゆきだるま
水の中を歩く宇宙飛行士
人の方がボケてしまったビデオ
手書きイラスト
かわいいドラゴン

👀まとめ

生成の精度はどんどん良くなっていきますね。このような高性能なモデルをオープンソースで公開とはふとっぱらです💡
なお、CogVideoはvideo to videoもサポートをされているようです。
精度をどんどん高めていくこともできると思うので、試行錯誤のしがいがありますね！
今日はここまで〜！！

この記事が気に入ったらサポートをしてみませんか？