Geoffrey E. Hinton, Simon Osindero and Yee-Whye Teh : A Fast Learning Algorithm for Deep Belief Nets

Neural Computation, Vol.18 Issue 7, pp.1527-1554（July 2006）

川上　玲（東京大学）

※本記事のPDFは情報処理学会電子図書館に掲載されており、情報処理学会会員は無料で閲覧できます。（http://id.nii.ac.jp/1001/00191204/）

深層学習のもとになった？

　深層学習（deep learning）への大きな注目は言を俟たないが，そのきっかけはこの論文であると考える人は多い．Ian Goodfellow らの（恐らく世界で最も使用されている）深層学習の教科書［1］や，学術的な解説記事にもそのような記述がある．しかし，この論文の原著を読んだ人は少ないかもしれない．なぜなら，深層学習が爆発的に広まったのは，Krizhevsky, Sutskever, Hinton の2012 年の画像分類コンペでの優勝［2］あたりからであり，今ではこの論文（とこれに続く事前学習のシリーズ）のテクニックはあまり利用されることがないからである．そこで，この技術的なギャップを紐解くべく，この論文の内容，貢献，およびその後の展開についてお伝えしてみたい．