![見出し画像](https://assets.st-note.com/production/uploads/images/102522211/rectangle_large_type_2_aa494dfdd143ac1f15376520608d8b36.png?width=800)
depthmap-scriptで深度マップ動画を作成する
まず、今回作成したものがこちら。
depthmap-scriptできた!
— tlanoAI (@TlanoAI) April 7, 2023
もうちょい調整が必要そうなのと、あんまり遠景だと効果が薄いかも。
生成用のmeshファイルを作るのに1時間ぐらいかかった。meshさえ作れば動画生成自体は1~2分程度。#AIart #AI術師さんと繋がりたい pic.twitter.com/nQKsy6KKqJ
WebUI拡張機能のdepthmap-scriptを使用しています。
高解像度の深度マップを生成する拡張機能ですが、設定項目が多いため、初見ではどこを見ればよいかすぐ分からないかと思います。
この記事はとりあえず最短で動画作成までこぎつける流れを説明します。
実際のところ私も細かい項目の意味は分かっていません。
ではまず、当たり前ですが拡張機能をインストールします。
![](https://assets.st-note.com/img/1680980327923-T4vRUD4YMh.png?width=800)
ちなみに、私は最初インストールがうまくいきませんでした。
原因はunpromptedとの競合だったのですが、もしunpromptedを入れている場合は削除する必要があるかもしれません。
インストールに成功したら、depthmap-scriptが複数個所で使用出来るようになります。
text2imgのscript、img2imgのscript、depthタブの3か所です。
![](https://assets.st-note.com/img/1680980618146-U7MHAeL7jW.png?width=800)
![](https://assets.st-note.com/img/1681041113219-X51LXzpZOv.png?width=800)
今回はDepthタブを使用します。
text2imgのscript、img2imgのscriptからは動画生成出来ないので注意してください。
Depthタブを開いたら、画像をアップロードします。
![](https://assets.st-note.com/img/1680980789228-9UbBreepp3.png?width=800)
depthタブでの操作の流れは2段階です。
・画面左側で、動画生成用のmeshデータを作成
・画面右側でmeshデータとパラメータを指定して動画を生成
ではまず、左半分の画面でmeshを作成します。
![](https://assets.st-note.com/img/1680982258455-3yvfBv88dp.png?width=800)
設定項目ですが、私はこれのみで他はデフォルトで実行しました。
・Compute on
・Model
・Net width / Net height
・Generate 3D inpainted mesh. (Sloooow)
Compute onとModelは使用PCの性能と相談してください。
Modelはmidas3系のモデルの方が高性能ですが、VRAMをかなり使用するようです。(詳しくはgithubのreadme参照)
私はGPU指定でmidas_v21を使用しました。RTX3060で動きました。
Net width / Net heightは画像サイズに合わせてください。
「Generate 3D inpainted mesh. (Sloooow)」のチェックをONにします。
mesh作成のための選択項目です。
「Sloooow」と書かれている通り、大変時間がかかります。
私の環境では40~50分かかりました。
設定が終わったらGenerateを押してmeshの作成を開始します。
webui上には進捗が出ないので、コマンドプロンプトを確認してください。
meshファイルの生成が完了したら、outputs\extras-imagesにplyファイルが作成されます。
このplyファイルのパスを画面右側で指定して動画を生成します。
![](https://assets.st-note.com/img/1680982607390-RfXvwb2qvL.png?width=800)
あとはGenerate Videoを押すだけです。
1~2分程度でoutputs\extras-imagesに動画が生成されます。
画面右側の項目
Number of frames / Framerate:
動画のフレーム数です。
300フレーム、フレームレート30で生成すれば
10秒程度の動画になります。
SSAA:
よく分かってないです。3のままやりました。
Translate: x, y, z:
座標軸をどの方向にどれだけ進めるか指定します。
つまり、x=-0.5なら左方向に移動することになります。
Crop: top, left, bottom, right:
よく分かってないです。
Trajectory:
動きの指定で、3種類あります。
それぞれこんな感じです。
depthmap-script
— tlanoAI (@TlanoAI) April 8, 2023
動きは3種類 ①circle#AIart pic.twitter.com/w81NRWjmdM
depthmap-script
— tlanoAI (@TlanoAI) April 8, 2023
動きは3種類 ②straight-line#AIart pic.twitter.com/0PSAn64FFQ
depthmap-script
— tlanoAI (@TlanoAI) April 8, 2023
動きは3種類 ③double-straight-line #AIart pic.twitter.com/0YrWBfG5cg
この記事が気に入ったらサポートをしてみませんか?