5chにあったmasaCtrlを使った動画化のメモ書き
これは5chにあった誰かが書いたmasaCtrlを使った動画化のメモ書きを自分用に分かりやすく要約?した文章です。
なお、自分は試したことないのでメモ書きなのです。
1.準備フェーズ
masaCtrlの導入、元動画を調達する。元の人は同人3Dゲーで録画したらしい。何でもいいと思う。
AE(AfterEffects)とか使って連番出力させるってことでいいかな?
このあたりを参考に頑張って。
2.masaCtrlに記憶させる
元動画から画像生成、masaCtrlに記憶させてi2iでバッチ処理させる。
元動画から出力した元画像の1フレーム目をi2i、CN+tile・lineart_realistic
(プリプロセッサ:lineart_realistic、モデルtileかな?)
プロンプトとNPは任意で生成開始。ノイズ強度は1らしいで出力して好みの画像を出していく。
決定稿でseed固定、masaCtrlをRoggingにチェック、Foreground indexesは生成した特徴が出てるプロンプトのトークン数値に設定する。
トークン確認は以下辺りで。
自分でpythonコード書くか
@kawaiiprompter さんのアプリ使うか
で画像生成すると、画像の特徴がmasaCtrlに記憶されるらしい。
3.記憶させた特徴を使って画像生成していく
i2i、CN+tile・lineart_realisticでバッチ処理して画像を生成する。
(プリプロセッサ:lineart_realistic、モデルtileかな?)
ここは事前に1フレームずつ画像生成?それともバッチで元動画から生成してくれるのか?(不明)
生成後、EbSynth(外部ツール)を使って処理開始。
4.EbSynthを使って処理させる
これです。
生成した画像にもよるけど大体10フレーム毎になるようにキーフレームを選ぶで、この時明らかに影がとんでたり、その他おかしい画像をキーフレームにするのは避けてな。そんで今選んだキーフレーム画像達と元動画の画像をEbSynthに入れてRun All
EbSynthを使ったことないのであれだけど、10フレーム毎になるよう選別したキーフレーム用画像達と元動画から出した画像(1の工程)をEbSynthにセットしてRunALLボタンを押せばいいってことだと思う。
おそらくこれをすることで、細かい間の画像とかも出力されるんかな?と思う。
Export to AE(AfterEffects)でAE用に出力できるので、連番画像で出力させる。
AE持ってない人はaviutlとか使って頑張る。
ここ見て勉強してクレメンス。
5.クオリティを更に上げる処理
SDに戻ってi2i(画像は4の工程で出したやつ)、CN+tile・lineart_realistic、元画像をセット(1の工程)して、ノイズ除去強度は0.4程度(もっと低くてもいいらしいから要調整)にして出力していく。
※おそらく画像枚数全部。
ここから先はワークフローに書いてなかったので妄想です。
できた連番画像を使って動画化させる。
AEならこのあたり?
Photoshop
https://helpx.adobe.com/jp/photoshop/how-to/make-animated-gif.html
GIMP
それっぽいアプリやwebサービスたち
https://colorcodesearch.com/gif-anime/
おわり
誰かやったら是非感想教えて。
よろしければサポートしていただけないでしょうか。 サポートいただきましたら、より私が活発に動き、いただいた支援はAI生成の活動費になります🥰