![見出し画像](https://assets.st-note.com/production/uploads/images/130351989/rectangle_large_type_2_e9836d837e54cdebdcb4dae394f30749.png?width=800)
AIアニメを作った話
こんにちは852話です
AI ANIME
— 852話(hakoniwa) (@8co28) February 6, 2024
出来た pic.twitter.com/8lAH3Xcf2A
2/6になんかt2vでいきなりAIanimeがうまく行ったのでそこから9日まで徹夜しながら色々模索してました。
AI ANIME
— 852話(hakoniwa) (@8co28) February 6, 2024
より自然になった あと一歩 もう少し… pic.twitter.com/j5OwjqXouK
1つめがTHE新海誠だったのをもう少し緩和したの。
まあまあいい出来ですが学習が強く出過ぎで汎用性がありませんでした。
AI ANIME HATSUNE MIKU pic.twitter.com/md6lIQqFKR
— 852話(hakoniwa) (@8co28) February 6, 2024
ミクも作ったけど一貫性がない。
じゃあ一貫性というか、一つのもののクオリティをあげよう。
となり
AI ANIME HATSUNE MIKU pic.twitter.com/fU7iB1af2f
— 852話(hakoniwa) (@8co28) February 7, 2024
ComfyUIでグリーンバックでミクアニメを作りAI背景と重ねました。強烈にうまくいきました。
昨日のAIanimeとは別のやり方グリーンバックでAIキャラアニメをAI背景に載せる手法 pic.twitter.com/4hBUWFer7I
— 852話(hakoniwa) (@8co28) February 7, 2024
ミクと同じ手法でわかりやすく作り直し。
とここで衝撃。
AnimateDiff-MotionDirectorの登場です。
というか最近更新があった模様。
ADのMotionLoRAを1つの動画から簡単に作れる!ということで
#AnimateDiff のmotionLoRA学習
— 852話(hakoniwa) (@8co28) February 8, 2024
なしのものと比べて(背景は変わるが)motionLoRAありはちゃんと走れるようになっている
IPAdapterありControlNetなし pic.twitter.com/zwXUcyjMnt
やってみましたこれはすごい。
で、最初に挙げたt2vのAIanime18個を選んで、MotionLoRAに学習させてみました。
AI Anime Motion LoRA
— 852話(hakoniwa) (@8co28) February 8, 2024
背景同一でキャラだけが動く従来のAIanimeよりアニメっぽい画面になるAnimateDiff用Motion LoRA出来た
かなりいい pic.twitter.com/xxLed6jzxY
やばいアニメっぽいところどころ怪しいが従来のADのアニメよりだいぶいい。特に背景が動いてないのがComfyUI上で生成できるのがいい。
MotionLoRA作るのには、1つの動画学習は20分くらい、18の動画は数時間かかりました。途中でブレーカー落ちたので7500ステップで終わりだったかな
AI ANIME、ぬめぬめしたAIアニメ特有の変移がマシになって息遣いと軽微な動きが安定しました。
— 852話(hakoniwa) (@8co28) February 9, 2024
ComfyUI t2i CN無し#AIanime pic.twitter.com/RXryr0KID8
再調整。1920x1080 7fpsで書き出し(実際はもっと4K近いデカさで出力されてる)
だいぶ満足の行く結果になりました。
皆もMotionLoRA学習をしよう。
ADMDは14GB最低でもないと動きません。終わりです。
2/7〜2/9の3日間のうちにAIanimeがすごくよくなったのでまとめて見てほしい
— 852話(hakoniwa) (@8co28) February 9, 2024
一気に進んだので#AIanimation pic.twitter.com/Zh2vmlJaKy
このポストがバズったらMotionLoRA配布しようかなと考えてたんですが意外と興味ある人少ないみたいなのでやめました。
皆も自作しよう。
AI ANIME デルタもん pic.twitter.com/bdH2n3NP2X
— 852話(hakoniwa) (@8co28) February 9, 2024
おまけのデルタもんアニメ。これはCNを使ったグリーンバック方式。
この記事が気に入ったらサポートをしてみませんか?