LCM LORAsとAnimateDiff、MCNで生成されるAIアニメ 他 / Catch up on AI 2023.11.19
Pick up
日常を撮影したホームビデオを、LCM LORAsとAnimateDiff、multi-controlnetでAIアニメ化。一貫性もある程度保てているし大きな破綻もない。これがLCMなのですごいスピードで生成されているというのもポイントです。
LCM LORAsとAnimateDiff、multi-controlnetで生成された日常のアニメーション変換動画。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 18, 2023
もう、あと一歩のところまで来ている。これだけの尺でレンダリング時間も5分ということでかなり現実的。#生成AI #AIアニメ #AI動画pic.twitter.com/g5zt0SNNzG
Catch up on AI
ラフなワイヤーからレスポンシブコーディング
【ラフなワイヤーからレスポンシブコーディング】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 18, 2023
簡単なワイヤーと自然言語で様々なものが創れる「tldraw（ @tldraw ）」を利用したレスポンシブコーディングでも。
PC・モバイルの2つのワイヤーを準備することで、レスポンシブを実現。#生成AI #AIpic.twitter.com/VlQ77O7eJu
キャラクターの簡易アニメーションが可能に
【キャラクターの簡易アニメーションが可能に！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 18, 2023
RanwayのGen-2で実装予定のMotion Brushを利用した、アニメ生成。動かしたいところを明確に指定することで随分破綻が無く動かせている。#AIアニメ #生成AI #AI動画 https://t.co/teXTsLTrv1
領域指定とプロンプトでアニメを制御
【領域指定とプロンプトでアニメを制御】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 18, 2023
RanwayのGen-2で実装予定のMotion Brushとプロンプトの指示で動画をコントロール。
Up → Down → Left→ Right#AIアニメ #生成AI #AI動画pic.twitter.com/1yCTVuV5hl
AnimateDiffでも範囲指定してアニメーション
【AnimateDiffでも範囲指定してアニメーション】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 19, 2023
Motion Brush + AnimateDiff + in-painting
こんなことができるのか...やり方を調べて見よう！pic.twitter.com/fVzn1JOaCg
ComfyUIの様々なワークフローがまとめられたGithub
ComfyUIの様々なワークフローがまとめられたGithub
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 19, 2023
Instant LoRAやIPAdapterとVideo-to-videoの組み合わせなど様々なワークフローが公開されている。
一つずつ試してみよう！https://t.co/YhVL4FHdS1#生成AI #ComfyUI #AI
Comfy-UIでLCM LORAsでtxt2videoのテスト
LCM LORAsとAnimateDiff、multi-controlnetでvideo-to-videoを実施するために、取り急ぎ、Comfy-UIでLCM LORAsでtxt2videoが動かせるようにセットアップ。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 19, 2023
クオリティはおいておいて生成は早い！
来週video-2-videoできる時間とれると良いな。#生成AI #ComfyUI #LCM pic.twitter.com/rkCv7Sv56Y
ガイド無しのキャラクターの一貫性はLCMよりも、普通のモデルのほうが遥かに保てる
ガイド無しのキャラクターの一貫性はLCMよりも、普通のモデルのほうが遥かに保てている。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 19, 2023
ガイド有りの場合、LCMの速度の優位性が出て、Video2Videoの場合は良いのか？#生成AI #AnimateDiff #AIアニメ pic.twitter.com/NxizNRmLl2
AIのNewsやアートワーク情報を更新中⚡
X（Twitter）ではAIの最新情報を発信中🐦
この記事が気に入ったらサポートをしてみませんか？