見出し画像

TEXTure によるテキストとメッシュからのテクスチャ生成を試す

npaka

「Google Colab」で「TEXTure」 (Text-Guided Texturing of 3D Shapes) によるテキストとメッシュからのテクスチャ生成を試したのでまとめました。

1. TEXTure

「TEXTure」は、メッシュとテキストを入力として渡すことで、高品質のテクスチャでメッシュをペイントする手法です。事前学習したDepth-to-ImageのDiffusionモデルを使用しています。

2. Colabでの実行

Colabでの実行手順は次のとおりです。

(1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。

(2) MiniCondaのインストール。
Python 3.9のものを利用しました。

# MiniCondaのインストール
%%bash
MINICONDA_INSTALLER=Miniconda3-py39_4.9.2-Linux-x86_64.sh
MINICONDA_DOWNLOAD_HP=https://repo.anaconda.com/miniconda
MINICONDA_PREFIX=/usr/local
wget $MINICONDA_DOWNLOAD_HP/$MINICONDA_INSTALLER
chmod +x $MINICONDA_INSTALLER
./$MINICONDA_INSTALLER -b -f -p $MINICONDA_PREFIX

(3) 「TEXTure」のインストール。

# TEXTureのインストール
!git clone https://github.com/TEXTurePaper/TEXTurePaper.git
%cd TEXTurePaper
!pip install -r requirements.txt

(4) PyTorchのインストール。

# PyTorchのインストール
!pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
!pip install --upgrade numpy
!pip install imageio[ffmpeg]
!pip install imageio[pyav]

(5) kaolinのインストール。

# kaolinのインストール
!pip install git+https://github.com/NVIDIAGameWorks/kaolin

(6) HuggingFaceにログイン。
リンク先のトークンをテキストフィールドに入力します。

# HuggingFaceにログイン
!huggingface-cli login

(7) 推論の実行。
T4 (VRAM:15GB) で9分ほどかかりました。

# 推論の実行
!python -m scripts.run_texture --config_path=configs/text_guided/napoleon.yaml

「napoleon.yaml」はナポレオンのテストデータです。

・napoleon.yaml

log:
  exp_name: napoleon
guide:
  text: "A photo of Napoleon Bonaparte, {} view"
  append_direction: True
  shape_path: shapes/napoleon.obj
optim:
  seed: 3

メッシュ「napoleon.obj」とテキスト「A photo of Napoleon Bonaparte, {} view」が設定されてます。

(8) 左端のフォルダアイコンからファイル一覧を表示し、「TEXTurePaper/experiments/napoleon/results」をダウンロードして確認。

・step_00010_rgb.mp4 : プレビュー動画
・step_00010_texture.png : テクスチャ



この記事が気に入ったらサポートをしてみませんか？