Robert J. Woodham : Photometric Method for Determining Surface Orientation from Multiple Images
Optical Engineering, 19(1), 191139 (1980)
小澤圭右（（株）デンソーアイティーラボラトリ）
※本記事のPDFは情報処理学会電子図書館に掲載されており、情報処理学会会員は無料で閲覧できます。（http://id.nii.ac.jp/1001/00206837/）
多視点ステレオから照度差ステレオへ
3 次元形状測定の連載前半として，前号では多視点ステレオ法を紹介した．多視点ステレオ法は高精度な奥行き測定を可能にするが，テクスチャに乏しい領域では視点間で対応が取れず，本来存在しない凸凹が生じ得る．多視点ステレオでは隣接点同士の繋がり方，つまり各点で表面に接する面の傾きは直接考慮されない．特に表面形状の空間的変化が緩やかな場合にその影響が目立つ．これを主たる動機に照度差ステレオ法を紹介したい．その目的は複数の陰影画像から画素ごとに面の傾きを決定することである．たとえテクスチャに乏しい表面であっても，光がそこに投じる陰影は局所的な形状（微分情報）を反映している．光の当て方を変えて得られるさまざまな陰影は高密度な形状推定のための重要な手がかりを与える．本稿では，照度差ステレオの原型であるWoodham による論文を紹介する．1980 年と年代的には古典ながら，最近の研究にもつながる含蓄に富み，深い考察が感じられる．光の当てる方向を変え表面の向きを決めるというWoodham の主題を中心に，そこから形状を復元する技法やいくつかの課題を紹介していく．
照度差ステレオと形状復元
前回紹介されたように，ある点までの奥行きを測るにはその点を異なる視点で見ればよい．同じ「ステレオ」ながら，多視点ステレオが「視点を変える」ことで奥行きを測るのに対し，照度差ステレオは（基本的には視点を固定し）「光の当てる方向を変える」ことで面の傾きを測る．原理は日常体験から容易に理解できる．太陽（光源）が真上にあるとき地面は明るく，太陽が沈むと暗くなる，この観察を繰り返せば，今立っている（法線ベクトル，あるいは単に法ベクトルと呼ばれる）地面の向きは明るい時の太陽の方を向いていると気がつく．測定対象を地面に，手元の光源を太陽に見立て，いくつかの方向から光を当てて観察すれば対象表面の一点における法ベクトルが特定できそうである．問題を簡単にするため，対象は完全拡散反射面と仮定する．光源から受け取った光をあらゆる方向に等しく返す表面のことをそう呼ぶ．光源も（太陽のように）十分遠くにあると仮定する．そうすると，表面に降り注ぐ光は光源の方向だけで決まる．このとき，光源の方向と面の方向だけで（見る方向によらず）明るさが決まる．これは法ベクトルと明るさの線形関係を与えるので問題は簡単な連立方程式で済む（実はGPS も近似的には似た原理で動いていて，意外と身近な考え方である）．
物理的な背景に少し触れる．反射とは，ある方向から受け取った光をどの方向にどれだけ返すかを記述するものである．世の中に“完全”なものはほぼないであろうが，適度なスケールでざらざらした表面などに対し同様に不完全で粗い解像度で均されたとき，先述の完全拡散反射による近似が便利になる．反射特性に簡単な対称性を課すと，光源位置，視点位置，法ベクトルそれぞれの内積に依存する．特に今は光源位置と法ベクトルの内積だけで決まる場合を考えていることになる．法ベクトルと反射率の計3 つの自由度に対し，冗長性なく明るさを3 回変えるように光源位置を与えれば法ベクトルが決まる．
これで面の傾きの場，法ベクトル場が得られた．Woodham の論文ではここまでのプロセスが丁寧に議論されている（Silver が実装した．同時期または以前からのHorn とIkeuchi による陰影の研究も現在の礎になっている）．その後発展した知恵を借りながら，形状復元まで話を進める．
3D プリンタでフィギュアを作る目的であれば，法ベクトル場から形状を復元する必要がある．これは偏微分方程式を解くことにあたり，そのイメージとしては，従うべき傾きに沿って隣の点へと布を織り上げる作業である．こうして曲面が得られる条件は（画像，くどく言うと対象の投影，が穴のない1 枚板の場合の）可積分条件と呼ばれる．曲面のどの道を通って同じ点に到達しても同じ高さであるという，当たり前の要請である．まだ傾きを織り始める地点に任意性があり，これを定めたものを初期条件と言う．フィギュアの場合，形状それ自体の空間位置は意味を持たないが，計算上では1 つ決める必要がある．照度差ステレオでは背景の暗いところ（傾きの情報がない）を標高0 におく場合が多いように思う．このとき，フーリエ変換を用いて簡単に積分結果が得られる1）．可積分条件や初期条件の考慮の仕方はいろいろあり，1 つの陰影画像だけから形状を推定する試みもある（より古くからHorn の研究が知られる）．
ここまで，（1）光源方向を変えて複数の陰影画像をとる，（2）法ベクトル場を求める，（3）積分して形状を得ることを見た（図-1）．ところで相対的な位置は重要でないと言っても，それはたとえば重心のことであって，フィギュア上の少し離れた点同士の位置関係は重要である．少しずつずれた傾きを織り上げたときに誤差が蓄積されると，妙に斜に構えたフィギュアになってしまう．これを避けるため，多視点ステレオと照度差ステレオを組み合わせる方法が知られている．高い精度で得られた対象までの距離と高い精度の面の傾きの両方がなるべく満たされるように形が推定される．このとき，さらに対象の絶対的な位置も決まり，ときに有用である．多視点ステレオ以外にも，前回最後で触れられたパターン光投影との融合など，照度差ステレオの不得手を助けるアプローチも多く，互いに補い合っている．
図-1 左から，さまざまな方向から光を当てた陰影画像，法ベクトル場画像，表面形状を（メタリックに）レンダリングしたもの．シミュレーションによる．
照度差ステレオの課題
照度差ステレオの取り扱いで困ることの1 つとして完全拡散反射からの外れがある．前述のように完全拡散反射は常に近似的なものだが，それでも拡散反射の程度というものがある．たとえば，素焼きは拡散反射，釉薬をかけたお茶碗はツヤツヤしている．ラバーのおもちゃはほどよく拡散反射，エナメルでコーティングされるとツヤが増す．ツヤの度合いもさまざまで，定性的・定量的にさまざまな反射モデルが使われている．ツヤのある表面においては光の方向と明るさが簡単な関係でなく，そのままでは解くことが難しい．複雑な反射を取り扱う照度差ステレオ法も数多くあり，Ikeuchi は早くから応用上の利便を見据え金属表面を扱っている．反射モデルを仮定するアプローチやアウトライア除去への帰着など多数の有効な手法も提案されている．反射特性を手で変える大胆さもしばしば見られる．フィギュア用に人の顔を考えると，ある程度は拡散反射であるものの，お白粉を塗ればより拡散反射として扱える．これは次のカラー光源利用でも時々現れるテクニックである．
対象物が撮影中に動くと問題が生じる．たとえば，撮られようとする人が顔を動かす場合などである．光源を切り替えている間に，面の方向はおろか見ていた場所がずれてしまう（少しの間じっとしてもらうようお願いしたとしても）．動体の形状測定は照度差ステレオ法が抱える原理由来の課題の1つであり，一度の撮影で済ませようと試みるのがカラー照度差ステレオ法である．Petrov, Kontsevich,Drew らが詳しく調べており，照度差ステレオが提案される以前のNikolaev の研究も重要である．カラーカメラは赤，緑，青の色を取得するため，赤，緑，青の光を別々の方向から当てれば，一度に面の方向が推定できる．ただしそれぞれの色における反射の強さは既知とする．先出の白く塗った顔は例として分かりやすい．このアイディアはWoodham の論文中に3 行ほどで示唆される簡単なものだが，最近の研究でもいろいろと工夫がなされ，納得してただ通り過ぎるのは少々躊躇われる．たとえば色が分からない場合，またはカラフルな場合も調べられている．面の方向と色が一意に決まる（運が良ければ満たされる）条件も知られているが，実用とのギャップがある．
実用上有効そうなアプローチとして，光源と撮像を高速に同期する高度な技術も開発されている．より現実的な仮定と高い精度で動作する手法も知られているし，装置的な簡易化もなされていくかもしれない．
最後に相互反射の問題を挙げる．部屋の明かりを点けると部屋全体が明るくなる．これは光が壁やそこらにあたり，何度も反射する結果である．これを相互反射という．照度差ステレオ法は光源から受け取る光の量をもとに面の方向を測るため，相互反射は外乱となる．強い仮定のもとでその影響を緩和する方法も考えられている．
振り返りと展望
Woodham が最初に示して以降，照度差ステレオ法は大きく進展してきた．ツヤ，動き，相互反射など課題は多いが，局所的な形状推定精度の強みを生かし実応用も豊富に見られる．近接光源や散乱体下での取り扱いも多く調べられている．最近では学習ベースの方法もその高い精度と相まって注目されている．新たなセンサの登場や光源との組合せも新たな手法開発の原動力になっていくと思う．簡単な紹介になったが，照度差ステレオ法が持つ本来の魅力が筆者の理解不足と拙文で失われていないことを願う．情報源を紹介しきれなかった文献の著者の方々に感謝の意をもって本稿を閉じる．
参考文献
1） Frankot, R. T. and Chellappa, R. : A method for Enforcing
Integrability in Shape from Shading Algorithms, IEEE
Transactions on Pattern Analysis and Machine Intelligence,
10(4), pp.439-451 (1998).
（「情報処理」2020年10月号掲載）
■小澤圭右 kozawa@d-itlab.co.jp
デンソーアイティーラボラトリにて画像関連の研究開発に従事．2018年東京工業大学大学院後期課程修了．民間企業を経て2019 年から現職．