Dreamfields3d

#dreamfields3d (text2model AI ツール) beta v0.6 リリース！トレーニングの安定性とパフォーマンスを向上させるために、トレーニングで CLIP にフィードする前に、ランダムなビュー アングルと画像増強を適用するようになりました。
Colab:
https://colab.research.google.com/drive/1u5-zA33 0gbNGKVfXMW5e3cmllbfafNNB ?usp=sharing …

コード:https://github.com/shengyu-meng/d reamfields -3D … #AIart #AIArtwork #aiartist #text2art

パラメータ紹介

ドラフト学習には、clip_modelにVit-B/16、Epoch_numに100を、ファイントランニングにはVit-L/14と200を使用。Vit-L/14 336はまだテストしていません。

Prompt_image機能は、まだ十分にテストされていない。現在、プロンプトは1つしかサポートしていないため、ミスマッチが発生する場合があります。

seed を -1 にすると、ランダムなシードが得られる。

clip_augは、CLIPに入力する前に画像を補強する実験的な機能で、これを有効にすると、より詳細な出力が可能になり、オフにすると、より安定した学習ができる。

random_fovy_training は、CLIP が様々なスケールでレンダリングを観察できるように、トランジション時にランダムなビューアングルを適用する機能です。

clip_w_h と clip_aug_copy は GPU の RAM 占有率と描画速度に大きな影響を与えるので、16G RAM GPU で 232x12 \ 225x16 , 168x20 , 128x24 のように、異なる組み合わせでターンインしてみてください。

use_clip_dir_text は、カメラの方向に関するテキストプロンプトに "the font view of...." のような接頭辞を追加するかどうかを決定します。これはミスマスを減らすが、オーバーフィッティングを引き起こす可能性がある。

camerfa_fovy の値を大きくすると、全体像で見えるオブジェクトが小さくなります。

resume_projectに "latest "を指定すると、最新のプロジェクトが自動的にoutput_dirにロードされるようになり、そうでなければ、特定のプロジェクト名を指定する。

そうでない場合は、プロジェクト名を指定します。トレーニング出力は、output_dir の下にある project_name とトレーニング開始時のタイムスタンプを加えたサブフォルダに格納されます。

注意 注意：colabのUIが固まることがありますが、checkpointsフォルダのファイルが更新され続けていれば、トレーニングは実行されています。トレーニングが終了するのを待って、カーネルを再起動し、テストステージを実行することができます。

詳しい使い方は、main_nerf.pyを参照してください。

最新のプリトレインチェックポイントファイルで画像/動画/メッシュを生成します。

test_project を "latest" に設定すると、最新のプロジェクトが output_dir に自動ロードされ、そうでなければ、特定のプロジェクトのフォルダ名を指定する（自動生成のタイムスタンプを含む）。 test_samplesは、生成される画像の数を制御しますが、colabに表示されるのは20枚だけです。 save_videoにチェックを入れると、360°動画が生成されます。動画は20FPSで、動画の総フレーム数はtest_samplesと同じになります。 save_mesh をチェックすると、マーチングキューブアルゴリズムで obj と ply の 3D モデルが生成されます。 出力されたモデルは頂点カラーを含んでおり、meshlabやRhino3Dで直接見ることができます。Blenderで色を見るには、plyモデル（最新のblender 3.3ではOBJも可）をインポートして、そのモデルに新しいマテリアルを作成し、シェーダーエディタでカラー属性ノードを新しいマテリアルに差し込めば、頂点カラーが見えるはずです。

メモ

#dreamfields3Dの使用上のヒント:

1. 200 エポック全体が終了するのを待つ必要はありませんが、いつでも停止できます。実行テスト後にビデオとメッシュを取得できます。しかし通常、一般的な出力を得るには 50 エポック、良い出力を得るには 100 エポックが必要です。

2. 過適合の問題に遭遇した場合、たとえば、3D の猫が四方に 4 つの顔を持っている場合、「use_clip_dir_text」のボックスをチェックしてみてください。これにより、この問題を回避できます。

3. プロンプトの構築については、 https://krea.aiからインスピレーションを得ることができますが、この 2D 生成データセットはどちらも CLIP ViT-L/14 モデルを使用しているため、同じプロンプトで機能するはずです。

4「メモリ不足」エラーが発生する場合は、16G RAM 未満の GPU が割り当てられている可能性があります。次に、clip_w_h の値を減らす必要がある場合があります。 たとえば、clip_aug_copy を 168 と 6 に変更してから、ランタイムを再起動して再度実行します