Jacot, Arthor, Gabriel, Franck and Hongler, Clement : Neural Tangent Kernel : Convergence and Generalization in Neural Networks

Advances in Neural Information Processing Systems, 31 （2018）

※本記事のPDFは情報処理学会電子図書館に掲載されており、情報処理学会会員は無料で閲覧できます。（http://id.nii.ac.jp/1001/00204331/）

甘利俊一（理化学研究所）

深層学習の不思議

　深層学習は驚くほどの成功を収め，一躍AIの寵児となった．それは非線形系の確率降下学習という，私やロシアのTsypkinが大昔に提唱した単純な方法に基礎を置きながら，多くの工夫と発見を加えて素晴らしい成果を生み出し，大げさに言えば社会や文明の仕組みを変えるという．
　なぜうまくいくのだろうか．深層学習の解は説明不能であるから信用できないという話がある．しかし，それはないものねだりで，元々深層学習は大量のデータから，良く合う実験式を作りだしているにすぎない．いまのところ，やってみてうまくいけばよい，というところに落ち着いて，理論がない．しかし，やはりなぜうまくいくのかという納得のいく説明はほしい．