カスケードコリレーション学習戦略～Predictにおける最適ネットワーク構造の高速探索
ニューラルワークスPredictのネットワークの中間層の層数は？というご質問を受けることがよくあります。
Predictでは、いわゆる階層型ネットワークにおける中間層（一つの層の中のノード同士は結合しない）を1層あるいは2層と用意することはせず、基本的に全てのノードが結合しており、学習の結果としていわゆる中間層と考えられるものが生成されうると考えます。
このことで、より自由度の高いモデルの探索が可能となるわけですが、ネットワーク構造を決定するための試行錯誤の段階で、新たなノードを追加する毎に増加する学習時間の遅延の問題は避けられません。
Predictでは、カーネギーメロン大学のスコット・フォールマン教授らの研究に基づいたカスケードコリレーション（Cascade-Correlation）という手法で、高速化を図っています。
カスケードコリレーション法では、入力層と出力層が直接つながったいわゆるパーセプトロンから始めて、そのネットワークが表現できない誤差を補うように新たに中間ノードが、解くべき問題の複雑さに応じて段階的に追加され、結果として高速なネットワークモデルの構築を実現します（標準的なバックプロパゲーション法よりもすくなくとも10倍以上の高速化が図れます）。
後の研究により、発達段階の子供が徐々に複雑な問題に対処していくステップアップの段階が、カスケードコリレーションの中間層のニューロン数に対応付けられるとする研究もあり、大変興味深いものです。
カスケードコリレーションの詳細にご関心の方は、以下の関連論文をご覧ください：
[カスケードコリレーションの原論文]
http://www.cs.iastate.edu/~honavar/fahlman.pdf
[日本語による解説記事]
http://www.cis.twcu.ac.jp/~asakawa/waseda2002/cascor.pdf
余談ですが、コンピュータ上でおなじみの顔文字は、スコット・フォールマン教授が世界で最初の発明者です。:-)
弊社では、データ分析プロジェクトにまつわる様々なご相談に、過去20年以上に渡るプロジェクト経験に基づき、ご支援しています。
社内セミナーの企画等、お気軽にご相談いただければ幸いです。
この記事が気に入ったらサポートをしてみませんか？