5chにあったmasaCtrlを使った動画化のメモ書き

これは5chにあった誰かが書いたmasaCtrlを使った動画化のメモ書きを自分用に分かりやすく要約？した文章です。
なお、自分は試したことないのでメモ書きなのです。

1.準備フェーズ

masaCtrlの導入、元動画を調達する。元の人は同人3Dゲーで録画したらしい。何でもいいと思う。
AE（AfterEffects）とか使って連番出力させるってことでいいかな？

このあたりを参考に頑張って。

【Ae】 動画を 連番静止画 に切り出す方法 After Effects – ぶいろぐ

AfterEffectsで動画を連続した静止画イメージとして書き出す | 大阪市天王寺区ホームページ制作 | 合同会社デザインサプライ-DesignSupply. LLC-

2.masaCtrlに記憶させる

元動画から画像生成、masaCtrlに記憶させてi2iでバッチ処理させる。

元動画から出力した元画像の1フレーム目をi2i、CN＋tile・lineart_realistic
（プリプロセッサ：lineart_realistic、モデルtileかな？）
プロンプトとNPは任意で生成開始。ノイズ強度は１らしいで出力して好みの画像を出していく。
決定稿でseed固定、masaCtrlをRoggingにチェック、Foreground indexesは生成した特徴が出てるプロンプトのトークン数値に設定する。

トークン確認は以下辺りで。
自分でpythonコード書くか

【Stable Diffusion】プロンプトのトークン数を確認する方法

@kawaiiprompter　さんのアプリ使うか

タイトル未設定

で画像生成すると、画像の特徴がmasaCtrlに記憶されるらしい。

3.記憶させた特徴を使って画像生成していく

i2i、CN＋tile・lineart_realisticでバッチ処理して画像を生成する。
（プリプロセッサ：lineart_realistic、モデルtileかな？）
ここは事前に1フレームずつ画像生成？それともバッチで元動画から生成してくれるのか？（不明）
生成後、EbSynth（外部ツール）を使って処理開始。

4.EbSynthを使って処理させる

これです。

EbSynth - Transform Video by Painting Over a Single Frame

生成した画像にもよるけど大体10フレーム毎になるようにキーフレームを選ぶで、この時明らかに影がとんでたり、その他おかしい画像をキーフレームにするのは避けてな。そんで今選んだキーフレーム画像達と元動画の画像をEbSynthに入れてRun All

5chの元文章

EbSynthを使ったことないのであれだけど、10フレーム毎になるよう選別したキーフレーム用画像達と元動画から出した画像（1の工程）をEbSynthにセットしてRunALLボタンを押せばいいってことだと思う。
おそらくこれをすることで、細かい間の画像とかも出力されるんかな？と思う。
Export to AE（AfterEffects）でAE用に出力できるので、連番画像で出力させる。
AE持ってない人はaviutlとか使って頑張る。

ここ見て勉強してクレメンス。

AviUtl初心者が最初に読むべきページ【導入から使い方まで】

5.クオリティを更に上げる処理

SDに戻ってi2i（画像は4の工程で出したやつ）、CN＋tile・lineart_realistic、元画像をセット（1の工程）して、ノイズ除去強度は0.4程度（もっと低くてもいいらしいから要調整）にして出力していく。
※おそらく画像枚数全部。

ここから先はワークフローに書いてなかったので妄想です。

できた連番画像を使って動画化させる。

AEならこのあたり？

After Effectsへの素材の読み込み - fu-non

Photoshop

https://helpx.adobe.com/jp/photoshop/how-to/make-animated-gif.html

GIMP

GIMPのGIFアニメ作成機能を、もっと使いやすくする方法 - Blenderであそんでみた

それっぽいアプリやwebサービスたち

https://colorcodesearch.com/gif-anime/

おわり

誰かやったら是非感想教えて。