【読書メモ】深層学習の原理に迫る 数学の挑戦
こんにちは！大学院で生命系のデータを使った研究をしている山田です（仮名）。
今日は深層学習に関する本の読書メモをお届けします。
なぜ読んだ？
・今後半年くらいの勉強モチベとして、「自分に足りないデータサイエンススキルセットを学び、穴を埋めていきたい」というのがある。
・自分のスキルセットの穴の中に、「深層学習の深い数学的理解および実装能力」がある。大学の講義にて簡単な数学的背景や応用例は学んだものの、数学的に深い所を理解したり、実際の問題解決のために実装したりといった経験はなかった。
・そこで、深い数学的理解に向け、深層学習の原理の入門書を読もうと考えた。
基本情報
今泉允聡『深層学習の原理に迫る−数学の挑戦』
学んだこと
DNN(Deep Neural Network)が2層に比べて有利な点
・ジャンプを持つ関数の近似。
・滑らかさが場所によって異なる関数の近似。Wavelet変換のように。
・特徴量が低次元なデータ。前半で特徴量抽出、後半で予測や判別。
過適合しないことの謎
・実は重要なパラメータは一部だけなのかも（枝刈り）。←脳の成長時におけるシナプス刈り込みと似ていて面白い。
・漸近リスク解析←パラメータ数を無限個として使うことによって、見通しがよくなるのが面白い！無限を扱う数学が「役に立つ」例。
・バイアスとバリアンスは、実はトレードオフではないかも！すると統計学の常識がくつがえる。
よく分からなかったこと
・ランジュバン動力学による確率的勾配降下法の解析。焼きなまし法の勉強をしないといけないと思った。
次に読みたい本
原理を学びつつの実装を体感するために、以下の本を読みたい
・斎藤康毅『ゼロから作るDeep Learning: Pythonで学ぶディープラーニングの理論と実装』
また、深層学習のPythonライブラリを用いて、手元のデータに適用したい。そのために必要な本やドキュメントを探して読む。
最後まで読んでいただきありがとうございます！
この本以外に読んだ本の一覧はこちら↓
他の読書メモ・ブックレビューはこちら↓
この記事が気に入ったらサポートをしてみませんか？