#227【機械学習】ゼロから作るDeep Learning３ その01

tsysk

昨年～今年の年末年始に途中まで読んだものを、再度最初から読んでいます。

Step01: Variableクラス
Step02: Functionクラス, 基底クラスと継承
Step03: 関数の連結
Step04: 数値微分, 桁落ち, 計算コスト
Step05: バックプロパゲーション, 順伝搬と逆伝搬
x -> A -> a -> B -> b -> C -> y
dy/dx -> A'(x) -> dy/da -> B'(a) -> dy/db -> C'(b) -> dy/dy
Step06: バックプロパゲーションの実装, Square -> Exp -> Square
Step07: バックプロパゲーションの自動化, 再帰的な方法
Step08: 再帰からループへ
Step09: Pythonの関数として利用（square, exp）
backwardメソッドの簡略化
ndarrayだけを扱う
Step10: テスト
コラム: ３つの微分
数値微分, 自動微分（forwardモード, reverseモード）, 数式微分
Step11: 可変長の引数（順伝搬編）, Addクラス
Step12: 可変長の引数（改善編）
Step13: 可変長の引数（逆伝搬編）
Step14: 同じ変数を繰り返し使う, def cleargrad(self):
Step15: 複雑な計算グラフ（理論編）
Step16: 複雑な計算グラフ（実装編）
Step17: メモリ管理と循環参照
Step18: メモリ使用量を減らすモード (1)不要な微分をすぐに消去する仕組み, (2)逆伝搬が必要ない場合のモード


この記事が気に入ったらサポートをしてみませんか？