イラストから動く3Dモデルの生成を行うBlenderアドオン (Love2D3D) の原理 #メイキング #b3d #イラスト #モデリング

イラストから動く3Dモデルの生成を行うBlenderアドオン (Love2D3D) の原理の解説です。これはマジックの種あかしであり備忘録です。開発開始から数年経っているため、そろそろまとめておかないと忘れてしまうからです。

開発動機

2014年に死人のようにデパートを彷徨っていたある日、故人 (忌野清志郎) のライブ映像を流している展示に出会いました。観衆を魅了する姿に感銘を受け、もう一度ライブを見れないかと考えたのが始まりです。つまり故人の映像からライブを再現することを目指しました。言い換えるならば死者の復活ですね。

今回の分野

このアドオンは4年に一度ぐらいにTwitterなどで話題になるのですが、そっと忘れ去られ、そしてまた話題になったりします。パッと見た感じ凄そうなこのアドオンにも、先駆者のような人たちがいます。これはあらゆる分野でよくあることです。

今回の分野は3次元形状復元と呼ばれています。その中でも以下の4種類程度に分かれます。

単一画像からの3次元形状復元

複数画像からの3次元形状復元

特殊撮影した画像からの3次元形状復元

機械学習を用いた3次元形状復元

単一画像からの3次元形状復元

カーネギーメロン大学やスタンフォード大学で単一画像の特徴点から形状を推測する研究がありました。これらのざっくりとした理屈は、平面という単純な形状の部位を見つけて推測するものです。イラストを描いている方が奥行 (パース) を付ける際に平行線を引くのと似ています。

写真を3D映像にする技術 Transforming a 2D image into 3D

Make3D --- convert your image into 3d automatically

複数画像からの3次元形状復元