ついに3Dも！3Dシーンを生成するNeRFに関して

こんにちは！Hi君です。
今回は3Dに関してです。少し長くなりますがお付き合いください。

3Dシーンを生成するLumaAIやNeRFStudioでは、画像セットから再構築された3次元シーン情報について、カメラワークを指定して画像や動画を生成することが出来ます。
こちらのTwitterにもあるように、スムーズな3D映像が簡単に生成できるので、もしかしたらアニメの背景作成補助等にも使えるかもしれません。

縦構図レンダリングのテスト（その２）
いや、どう見てもドローンの実写映像じゃん（汗）#軍艦島#地獄段#NeRF#LumaAI#LumaLabsAI pic.twitter.com/OKPuo1QXmo

— 大西さん (@2012apocalypsis) January 30, 2023

では一つ一つのツールについて、調べてみましたのでご紹介します。

NeRFStudio

---

nerfstudio-project/nerfstudio

こちらの動画でもわかりやすく説明しています。

NeRFStudioではNeRFactor、Instant-ngp、D-NeRF等をサポートしています。TSDF(kinectfusionの生成物みたいなデータ)、mesh exportもサポート。レンダリングは比較的速そうです。

手元の環境でも動作してみました！ただし下の題材はnerf用に撮影したモノではないのと、gtx1070だと多少パワーが弱いので、画像を縮小させています（576 x 1024）。
画像上の"Resolution: 613x1024 px"がブラウザ上レンダリング内でのビュー解像度となります。

関連ページ：

• https://cobanov.dev/nerf/：一番ワークフロー上のコマンドがまとまっていますが、メモ書きのようなものでかなり簡潔です 。

• Nerfstudio-Playground：実際に試した例が5件載っています。

• 公式ドキュメント等

• nerfacto with depth and semantic supervision #1475

• nerfacto with depth and semantic supervision

• How To Create 3D Scenes with NeRF Neural Networks Yourself](https://www.ni-sp.com/nerf-how-to-create-3d-scenes-with-neural-networks-yourself/)

• Dynamic NeRF #813

NeRFactor

---

NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination

NeRFactor

Nerfstudioの標準的手法です。inverse rendering的な事ができます。例えばrelighting等も後段の処理でできることがわかりました。

SDFStudio

---

最近ジワジワ流行っているので触ってみました。メッシュも吐き出せます。

autonomousvision/sdfstudio
Providing your own data. #2**

Mega-NeRF

---

比較的大きな画像に関しても分散的にいい感じにやってくれます。Block-NeRFに近いものをイメージするとわかりやすいかもしれません。

Dynamic View Synthesis from Dynamic Monocular Video

---

動的なシーンに対応したNeRF的なモノです。

Dynamic View Synthesis from Dynamic Monocular Video

デモ動画

K-Planes: Explicit Radiance Fields in Space, Time, and Appearance等、動的なシーンについてのNeRFもそれなりに出始めています。

PFNの3D & 4Dスキャナー

---

こちらは恐らくNeRF系の技術を使っていると思います。

【動画】PFN 4D Scan「しながわ水族館 海の宝石箱編」を公開しました。
動きのある空間を撮影して空間丸ごとフルCGで再構成。揺らめく水の表現や、魚や珊瑚を好きな角度から自由に眺める映像も制作できます。https://t.co/YDZPV3ZfCk pic.twitter.com/AnFvpAgr6M

— Preferred Networks (@PreferredNetJP) February 14, 2023

Tweets by pfn_3d

PFN 4D Scan - Preferred Networks

PFN 3D Scan - Preferred Networks

NeRFshop: Interactive Editing of Neural Radiance Fields

---

NeRFshopは生成物の一部をを歪ませたり移動させたりできるものです。

graphdeco-inria/nerfshop

作業上のメモ

---

FFMpeg

ffmpeg でメタデータを加える | ニコラボ
Linux で 写真のExif タグを一気に編集する - Qiita

動画下準備

---

ffmpeg -i salad.MOV -an salad.mp4

動画から画像

---

ffmpeg -i salad.mp4 -q:v 2 -vcodec mjpeg image/image_%03d.jpg

https://qiita.com/livlea/items/a94df4667c0eb37d859f

都会の車窓からフォトグラメトリ　〜LiDAR無しスマホでもできる！3Dスキャン〜 - Qiita

GTSFM

---

https://github.com/borglab/gtsfm

• FAST-LIO, Then Bayesian ICP, Then GTSFM
  https://arxiv.org/abs/2210.00146

それでは次回もお楽しみに！

文：Hi君
協力：inaho株式会社