Day43―心の中で思い描いたイメージを具現化する技術はここまで来た

今回は神経科学系技術についての論文。ちょっとSFっぽい。

http://dx.doi.org/10.1101/240317

fMRI（functional Magnetic Resonance Imaging）とディープ・ニューラルネットワークの手法を組み合わせることで、頭の中で思い描いたイメージをある程度の精度で再現することが可能に。

背景

想像したイメージを具現化する技術は、SFではおなじみである。従来の技術でも、複数の画像のうちどの画像を思い浮かべているかを識別するとか、low levelでの識別については明らかになっていた。
本研究では、fMRIによる脳機能イメージングとYamins & DiCarlo (2016) によるディープ・ニューラルネットワークの技術（Deep generator network; DGN）を組み合わせることで、実験参加者が想像したイメージをある程度のレベルで再現することに成功した。この技術をdeep image recognitionと名付けた。

実験

実験では、顔写真などの写真を見ている時、写真を思い描いている時、図形を思い描いている時、自由に何かを思い浮かべている時の4条件について、3人の実験参加者に協力してもらい再現を試みた。

fMRIのイメージングから、V1、V2、V3、V4、Lateral Occipital Complex (LOC、物体を認識)、fusiform face area（FFA、紡錘状顔領域）parahippocampal place area（PPA、海馬傍回場所領域）を特定。DNNのVGG19（https://github.com/BVLC/caffe/wiki/Model-Zoo）に実装。8層のDNNを構築した。

解析の結果、従来よりも優れたイメージ再現ができた。
従来の技術でも、思い描いたイメージを再現することはできた。しかし、境界線が判別できる程度で、何が写っているのかまでははっきしりなかった。今回DGNを使用することで、ディテールまである程度わかるようになった。（例えば、ライオンの顔を思い描いているとき、従来の技術では黒い顔のシルエットまでしか再現できず、猫なのかライオンなのかまでわからなかった。しかし今回の技術ではライオンの顔だと分かる程度には技術的躍進があった）

所感

fMRIとディープラーニングを組み合わせた、かなりホットなテーマだと思う。まだまだSFの世界には程遠いので、今後もこのテーマを追いかけたい。