Day49―機械学習で暗闇の画像も鮮明に

Image by Free-Photos on Pixabay.

今回は機械学習の画像処理系トピック。

Chen, C., Chen, Q., Xu, J., & Koltun, V. (2018). Learning to see in the dark. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3291-3300).

暗闇で撮影した映像を、FCN (Fully-Convolutional Network) によって鮮明にする技術を開発。従来手法に比べ、ノイズの影響を低減することに成功。

背景

暗闇での映像を鮮明に撮影するための研究は、古くから行われてきた。古典的にはISO感度（フィルム感度）を上げたり、シャッタースピードを長くすることで鮮明に写そうと努力されてきたが、ノイズが大きいという問題があった。また赤外線カメラを用いた撮影は、色が判別できないというデメリットがあった。
今回提案する手法は従来の手法と異なり、FCNを利用することで暗闇で撮影した写真の鮮明化を試みる。

アーキテクチャ

データセットとしては、5094枚のISOが超低い画像と（ground truthになる）通常画像のペアを用意した。まずLow画像を1/4に細かく分解し、出力が自然な明るさになるようブラックレベルを増幅する。それをFCNによって処理し、12チャンネルのイメージを出力させる。その結果を基にRGB空間を再現し、出力画像とする。画像処理の細かい部分はU-net (O. Ronneberger et al., 2015) に基づいている。

実験の結果、従来手法に比べノイズを劇的に軽減することができ、結果として鮮明な出力を得ることができた。

所感

実験の評価については、論文の比較画像を参照されたい。真っ黒にしか見えない画像から、超きれいなイメージが生成できている。
このようなアルゴリズムを使えば、ISOの調節に失敗してしまった画像を修正するのも夢ではない。すごい技術。一方で盗撮などの悪用にも超応用されそうなため、慎重な運用が求められそう（その辺は個人の判断に委ねるしかなさそうだが）。