建築ビジュアルCG AI活用法⑧ 3Dモデル生成 『4D ガウス スプラッティング』の衝撃！
こんにちは。STUDIO55技術統括の入江です。
ここまで3回に分けて、最新のガウススプラッティング（Gaussian Splatting）生成モデルを扱うプラグインを紹介してきました。
特に、先週紹介した Unity Gaussian Splatting は、スプラットデータを扱う元祖でもあり、普段Unityを使わない方でもスプラット編集に非常に便利なツールです。
このUnity Gaussian Splattingとスーパースプラットを併用することで、アーティストやデザイナーは複雑なシーンや詳細なオブジェクト編集を効率的に操作できるようになり、プロジェクトの開発時間の短縮と、クリエイティブなプロセスがよりスムーズに進行します。
スプラットデータを取り扱うには、ここまでお伝えした内容で十分なものですが、今回は更に補足的に2点のプラグインを参考レベルで紹介しておきます。
また最後に、この技術の展開が今後どのような未来を切り拓くのか、3Dを超えた 4Dガウススプラッティング(4DGS) の驚愕の内容。そして、4DGSから更なるHiFi4G(ハイファイ4G)の進化の現状をお伝えします。
最後までご覧ください。
●ブレンダー用アドオン
gaussian-splatting-blender-addon
Blenderは非営利団体が開発した、誰でも無料で使用ができるライセンスフリーの3DCGソフトです。
高額なCGソフトに対し、ゲームエンジンの普及とともにアマチュア層への普及が進み、急速に人気が高まりました。オープンソースの強みとして、世界中の技術者が日々アドオンをリリースしている点も特徴です。
その意味で、Blenderでいち早くガウススプラッティングのアドオンが登場しているのは、さすがといったところです。
このアドオンも細かなスプラットの編集・整理ができ、そのままBlenderで使用が可能なため、ビジュアルメインのBlender制作で威力を発揮するものになります。
あくまでBlenderを使用される方向けに、お伝えしておきます。
＊
GitHubのReshotAIのページから 『gaussian-splatting-blender-addon』 のzipデータをダウンロードします。
ダウンロードしたZipデータを解凍し、「blender-addon」をzipして、Blenderのアドオンのインストールで読み込み、アクティブにします。
「3D Gaussian Splatting」タブができるので、“Import Gaussian Splatting” からPLYを読み込みます。
近所の公園のレンタルサイクルを撮影した映像から、LumaAIでPLYデータ化したものを使用します。
Blenderに読み込んだ状態は、ただの謎の物体です。（笑）
ジオメトリノードでスケールを小さくすると形状が見えてきます。
編集モードで、自転車の並んでいる箇所をドラッグ選択。
反転し、Xキーで頂点削除。
更に、細かく削除して整理した状態がこちらです。
レンダリングでスプラット画像が認識できます。
Blenderの編集モードで個別のデータとして切り離すことなどもできるため、アーティストのアイデア次第で面白い表現ができます。
👉 使用した感想としては、スプラット形状がそのままモデルデータとして目立ってしまうところがあり、フォトリアルな質感が損なわれます。点群データとしての表現に適しているといった印象になるかと思います。
●動画編集用プラグイン
Postshot(ポストショット)
続いて、動画制作における3DGS活用の紹介です。
3DGSを使った動画編集は、これまでにない近未来感のある表現ができることから、かなり魅力的なものです。
3DGSのスキャンデータを動画活用する目的として考えられるのは、これまでにない表現ができるという点と、現場をスキャンデータ化することで、後からカメラワークを自由に設定できるといった点です。ドローンを使わずに、俯瞰ショットを撮影できるのも魅力です。
👉 俯瞰の高さに限度はあります。
ここでは、本格的な編集ソフトで3DGSの動画編集が可能なプラグインである『Postshot』を紹介します。
Postshotは、3DGSデータの動画編集に特化したツールであり、主にAfter Effectsのプラグインとして利用できます。
エフェクト編集のAdobe After Effectsには、すでに有料の3DGSプラグインが発売されていますが、Postshotは無料で使用できるプラグインです。
👉 Postshotを利用するにはアカウント作成は必須です。必ずログインして使用して下さい。
＊
Postshotのサイトからexeデータをダウンロードします。
👉 使用にはRTX2060、Quadro T400以上のGPUが必要ですのでご注意ください。
ダウンロードしたexeを起動し、「Install After effects Plugin」と、「Accept License Agreement」にチェック。その後は指示に従ってインストールします。
インストール完了後の起動画面がこちらです。
PLYデータを直接画面にドラッグ&ドロップすると、データが画面表示されます。
File > Save As… から、読み込んだPLYデータを、Postshotのネイティブ形式(.psht)で保存し直します。
After Effectsを起動。平面を作成します。
👉 平面カラーは関係ありません。
エフェクトから “Postshot” を追加。
Open Postshot Fileの “Select File” をクリックして、先ほどの.pshtデータを読み込みます。
AEに読み込んだ画面がこちらです。
これで、3Dデータを使った動画編集を、直接AEを使って行うことができます。
👉 設定したカメラを、ヌルにリンクさせると扱いやすくなります。
俯瞰撮影もしていないのに、このような上方からアングルショットできたりするのには、驚かされます。
クロップボックスを使用するには、ヌルをリンクして使います。
「Splat Scale」や「Max Opacity」にアニメーションキーフレームを打つことで、未来感のある表現で動画を作ることができます。
あり得ない角度からの俯瞰アニメーション。
Render Channelを “ZDepth” にして、デプスレイヤーとして使用ができます。
＊
以前にお伝えしたLumaAIのWebGL Libraryでも動画編集そのものは可能です。以前のコラム記事も参考にしてください。
●3DGS有料プラグイン
これまで無料のものを中心にお伝えしてきましたが、有料のものも以下に挙げておきます。
Unreal Engine有料プラグイン
・3D Gaussians Plugin
・UEGaussinaSplatting:3D Gaussian Splatting Rendering Feature For UE
3D Gaussian Splatting Rendering Feature For UE
購入画面
After Effects有料プラグイン
・Gaussian Splatting/After Effects plugin
購入画面
●4DGSの衝撃
ガウスの本格的な展開はこれからです。
昨年（2023年）7月にこの独創的な技術論文が発表されて以来、水面下で毎日のように新しいガウス関連の論文が発表され、話題が尽きることはありません。
どのような業界で活用の試みがあるのか、タイトルを見るだけでも参考になるかと思います。下の画像にリンクを貼っていますので、詳しく見たい場合の参考にしてください。
今後、この新技術によって建築ビジュアル制作のモデリングの概念や制作フローが大きく変わる可能性があります。また、各産業界で画期的なサービスにつながることは明らかです。
今や小学生でも気軽にスマホで写真やムービーを撮るように、誰もが気軽に3Dモデルを扱える時代が来ることは容易に予想されます。
注目される3D生成技術のガウススプラッティングに関するツールは、現在でも27件以上の公開リポジトリがあります。すべてを詳しく知る必要はないかもしれませんが、その中には驚くような内容のものも含まれており、近い将来これらが現実のものとなることで、どのような社会が実現するのか想像すると驚きを隠せません。
＊
特に私が注目しているのが、4DGS(4D ガウス スプラッティング)の技術です。
とても考えられないことですが、ガウススプラッティングは、動画から連続した3次元モデルを生成することが可能です。
4Dとは、動的シーンの時空間を最適化することを意味しています。
つまり、4Dの「4次元」は、通常の3次元空間に加えて時間軸を含んでおり、動的なシーンやアニメーションのレンダリングに特化していることを指します。
まだ試作段階とはいえ、カメラから単一のモデル生成だけを考えている次元からすると、これはかなり衝撃です。
時代はすでに2Dから3D、そして今や4Dに向かっています。
ICLR 2024
ICLR（International Conference on Learning Representations）は、機械学習および人工知能に関する国際会議であり、毎年開催されています。
今年(2024年)のICLRは、2024年5月7日～5月11日までの5日間、オーストリアのウィーンのメッセ・ウィーン展示・会議センターで行われました。
スポンサーは支援額によって分かれ、各スポンサーはその内容に応じて異なるレベルの露出とプロモーションの機会を得ることができる仕組みになっています。
このようなスポンサーシップの分類は、多くの国際会議やイベントで一般的に行われる方法ですが、今年のICLRのDIAMOND(ダイヤモンド)スポンサーには、以下の5社が名を連ねています。
Microsoft、Meta、Google Research、Google DeepMind、ZHIPU-AI
大きくは、「DIAMOND (ダイヤモンド)」「PLATENUM (白金)」「GOLD (金)」「SILVER (+) (シルバープラス)」「SILVER (シルバー)」「BRONZE (ブロンズ)」などに分かれます。
日本に関連した企業としては、Sony AIが「BRONZE (ブロンズ)」スポンサーとして掲載されています。
👉 Sony AIは、最先端のAI技術を研究し、それをソニーの様々な製品やサービスに組み込むことで、ソニーグループ全体の競争力を強化する役割を担っています。
＊
今年の ICLR 2024 における、4Dガウスに関する内容を以下に掲載しますので、ご覧ください。
4D ガウス スプラッティングは、動的シーンの基礎となる時空間 4D ボリュームに適合するように 4D プリミティブのコレクションを最適化することで、リアルタイムの高忠実度のビデオ合成を実現します。
ICLR 動画解説
先ほどのビデオは、4D Gaussian Splatting 技術の可能性とその応用範囲を具体的に示し、視聴者に対してその技術的な優位性と実用性を理解させることを目的としたものです。
動画内容について、少し解説をしておきますので参考にしてください。
・これまでの芸術をはるかに超えるビジュアル品質とスピード
4D Gaussian Splattingのアルゴリズムは、計算の効率性を大幅に改善しており、従来の技術に比べて10倍から100倍の速度で処理が可能です。また、複雑なシーンやオブジェクトの詳細をより鮮明に、リアルタイムで表示する能力が向上しています。この技術により、複雑なビジュアル効果や大規模なデータセットもリアルタイムで処理できるようになります。
・オリジナルフレームレート vs バレットタイム
この内容は、複数台のカメラを連続撮影することで知られた「バレットタイム（タイムスライス）」を実現する技術についてです。先ほど紹介したPostshotからAE編集を通じて、実際に撮影されていない俯瞰ショットを描き出すことができました。
4Dガウスは、このようなテレポートカメラによるフリービュー合成をさらに進化させ、バレットタイム映像制作を可能にしています。
👉 Bullet-time : 映画『マトリックス』で使われた撮影手法。
・テレポートカメラによる自由な視点合成
テレポートカメラによる自由な視点合成
3DGSの動画編集においても、後からカメラアングルを自由に設定できることを紹介しましたが、「Free view synthesis by a teleporting camera.」の技術で、異なる視点からの映像を合成することができるようになります。撮影後でも任意の視点からの映像を生成することが可能となり、より柔軟な映像制作が可能になります。
・単眼ダイナミックビデオからの新しいビュー合成
単眼ダイナミックビデオからの新しいビュー合成
「Novel view synthesis from monocular dynamic video.」は、単眼カメラで撮影された動的なビデオから新しい視点の映像を合成できることを示しています。この技術により、シーンの3D情報を取得し、異なる角度や視点からの映像を生成することができます。
実際には存在しないカメラアングルからの視点を生成することが可能となり、映像制作や仮想現実の分野で非常に有用です。
・レンダリング損失の最適化
レンダリング損失の最適化
「optimizing the rendering loss.」は、レンダリングプロセスにおいて損失関数（ロス）を最適化する技術を指しています。この損失関数は、レンダリングされた画像や映像の品質を評価するための基準となるもので、最適化の目的は生成された映像がターゲットとする高品質な映像にできるだけ近づくようにすることです。
つまり、レンダリングロスの最適化により、レンダリング結果がよりリアルで高品質になるように調整されるという事です。
これには、ノイズの低減、色の正確さの向上、ディテールの保持などが含まれます。
・大規模な都市風景の再構築
大規模な都市風景の再構築
車に搭載したカメラなどで、リアルタイムで大規模な都市シーンを再構築することが可能です。
4D Gaussian Splattingを使用することで、都市全体の詳細な3Dモデルを高精度で再構築し、車や人の動き、光の変化など、時間とともに変化する要素もリアルタイムでレンダリングが可能になります。
また、4D技術の特性を活かし、都市の変化や発展を時間軸とともに表現ができるようになるため、都市の過去・現在・未来を視覚化できるようになります。
高い計算効率により、少ないリソースで高品質な都市モデルを生成することで、都市のインフラ計画や災害シミュレーションにおいて、リアルタイムで変化を確認し、最適な計画を立てるためのツールとしての利用や、リアルな都市環境をゲームや映画の背景として使用することで、より没入感のある体験を提供するなど、使い道は様々に広がります。
4d-gaussian-splatting コード
ICLR2024における復旦張ビジョングループ(dufan-zvg)がGithubで公開した4DGSのコードがあります。
こちらから確認してください。
●HiFi4G (ハイファイ4G)
次のビデオは、動的な人体の再構築とビュー合成の例が示されています。
ガウスモデルをラスタライズ パイプラインに統合する困難な課題について、”HiFi4G” と名付けられたガウスベースのアプローチ論文を、実証実験しているのが、こちらの動画です。
このように、4DGSの技術的な追求は、現在も継続して進められています。
＊
CGビジュアル制作の劇的変化はもちろん、デジタル表現そのものが、もはや現実と区別がつかなくなるまで拡張される時代が、すぐそこまできているといった印象を受けます。
これからは、 ”当たり前” とされる常識が、年々塗り替えられていくことになりそうですね。
ともあれ、未来社会がどれほどなスマートシティを実現するのか、期待が膨らみます。