ClipMatrix:

ClipMatrixの概要：テキスト制御の3Dメッシュの変形とスタイル設定。

新しいタイプのテキスト制御AIジェネレーティブアート：テキストを与え、そこから3Dテクスチャ形状を取得します。このコードは私の最近の論文に大まかに基づいていますが、内部にはさらに多くのトリックがあります。
あなたからの入力：

• メッシュテンプレートの開始

• CLIPによって解釈されるテキストプロンプト

出力：生成されたメッシュのビデオ。デフォルトではclip_videosフォルダーに保存されます

クールな機能：

• 私のアカウントでアートワークとインスピレーションを確認してください@NJetchev

• 開始形状の任意のテンプレートメッシュのサポート

• 微細部品制御の対象領域を定義する

• シャドウマッピング

• 通常マッピング

• ソボレフ平滑化

• 高度なアニメーション効果のためのニューラルシェーダー

• 3Dメッシュファイルをエクスポートして、3Dプリンターサービスで作品を印刷できます

使用されたライブラリとレファレンス：かなり多くありますが、私は最も感謝しています

• OpenAIのCLIP

• MetaのPytorch3D

• この論文の著者

• SMPLの研究者、サンプルの静的model.objは、研究目的でWebサイトから取得されます。

• このコードのUIの役立つ提案とテストについては@nonlethalcode

Open_ClipMatrixの次のアップデートの私の計画は何ですか：

• このコードは、最近のClipMatrixCreaturesアートプロジェクトに関連しています。よろしければ、NFTクリーチャーの所有者は、ClipMatrixツールの新しいバージョンへの以前の排他的アクセスを取得します

• 現在、内部にはリギング可能なモデルはなく、静的テンプレートのみがあります。将来的に追加する可能性がありますが、まだ定かではありません。コードが複雑になり、実行時間が大幅に増える可能性があります。

• このバージョンでは、楽しくて速く遊ぶことができる小さくて機敏なデモに焦点を当てました。

//////////////////////////////

• 手順：ユーザーが調整する設定

注：このバージョンでは、設定が比較的低いレベルに設定されているため、p100などの弱いGPUでもすぐに使用できます。16 GB以上のGPUメモリを備えた優れたマシンを使用している場合は、テクスチャサイズ、メッシュの細分割など、より高い値に設定します。

展開するメッシュがどれほど強力で詳細になるか、および出力ビデオを保存する前にメッシュを計算する期間を決定できます。

Introduction to ClipMatrix: text controlled 3D mesh deformation and stylization.

A novel type of text controlled AI generative art: you give a text and get a 3D textured shape from it. This code is loosely based on my recent paper, but has many more tricks inside. Feel free to play with it, make art or even better: experiment with new ML techniques based on it. Please cite my twitter account @NJetchev or the paper when using this code, posting artwork from it or modifying it.

Inputs from you:

• starting mesh template

• text prompt to be interpreted by CLIP

Outputs: videos of the resulting generated mesh. by default saved in clip_videos folder

Cool features:

• check my account for artwork and inspiration what is possible @NJetchev

• support for arbitrary template meshes for starting shapes

• define regions of interest for fine part control

• shadow mapping

• normal mapping

• Sobolev smoothing

• neural shaders for advanced animation effects

• you can export the 3D mesh file and print your work in a 3D printer service

Libraries and references used: quite many, but I am most thankful to

• OpenAI's CLIP

• Meta's Pytorch3D

• the authors of this paper

• the researchers of SMPL , the sample static model.obj is taken from their website for research purposes

• @nonlethalcode for helpful suggestions and testing of the UI of this code

What is my plan for next updates of Open_ClipMatrix:

• this code is related to the recent ClipMatrix Creatures art project. If you appreciate it, holders of NFT Creatures will get earlier exclusive access to new versions of the ClipMatrix tool

• currently there are no riggable models inside, just static templates. I may add them in the future, not certain yet. It can complicate the code and increase runtimes a lot.

• In this version I focused on a small and agile demo that is fun and fast to play with.

//////////////////////////////

• Instructions: settings to tune by User

Note: this version has settings set to relatively low levels, so that it works out of the box even for weaker GPUs like p100. If you have a good machine with 16 GB or more GPU memory, set them to higher values, e.g. texture size, mesh subdivision, etc.

You can decide how powerful and detailed the mesh you evolve will be, and how long you will compute it before saving the output video