マガジンのカバー画像

ディープラーニングに挑戦するよ

39
本
最近はやりのAI(ディープラーニング)のプログラミングに挑戦するお話です。ディープラーニングの理論だけでなく、ソースコードも併記して少しでもわかりやすく努めてます。応援よろしくお…
運営しているクリエイター
えい夫＠データサイエンスファン

第29話 実装！回帰問題バックプロゲーション ソースコード解説編

前回は、回帰問題のバックプロゲーション実装例ということで、ソースコードとその出力結果を紹介しました。 今回はそのソースコードの詳細を解説していきます。 というのも、いきなり小難しいソースコードの詳細を解説されても読む気がしなくなると思って、先にソースコードと実行結果を示しました。 頂上の見える山登りと見えない山登りだったら、前者の方が良いでしょう? さて、前回実装ニューラルネットワークは次のようなものでした。 　入力層：ニューロン数1 　中間層：1層、ニューロン数1(は

えい夫＠データサイエン…

第28話 実装！回帰問題バックプロゲーション 実行結果編

第20話からバックプロゲーションについて学習してきましたが、実装するための準備(必要知識の習得)がついに整いました！ いよいよ待ちに待ったバックプロゲーションの実装です。 今回は回帰問題の学習の例として、バックプロゲーションによりニューラルネットワーク(以降NNと呼ぶ)がsin関数を学習する様子を観察します。 それでは学習を始めます。 NNの諸設定今回は次のようなシンプルなNNで学習することとします。 　入力層：ニューロン数1 　中間層：1層、ニューロン数1(はじめは1

えい夫＠データサイエン…

第27話 バッチ学習におけるニューラルネットワークの順伝播・逆伝播

今回は行列を用いたニューラルネットワーク(以降NNとよぶ)の演算について学習します。 実はこれまでにやっていたNNの演算は、層への入出力と正解をベクトルで表現していました。 しかし、前回学習した「バッチ学習」「ミニバッチ学習」ではベクトルではなく、行列を用いて演算することが必要になってきます。 そこで今回は、行列になるとNNの伝播はどうなるかを学習します。 具体的な内容は次のとおりです。 1. バッチ学習における行列(信号)の形式 2. バッチ学習における順伝播 3.

えい夫＠データサイエン…

第26話 バックプロパゲーションの理解に必要な知識 -バッチサイズ-

今回はニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、5つ目のバッチサイズについて学習します。 <バックプロパゲーションの理解に必要な5要素> ・訓練データとテストデータ ・損失関数 ・勾配降下法 ・最適化アルゴリズム ・バッチサイズ　←イマココ バッチサイズとは、重みとバイアスの更新を行う間隔のことで、ニューラルネットワークの学習効率に大きく影響を与えます。 今回はバッチサイズの概念と3種類の学習タイプについて勉強していきます

えい夫＠データサイエン…

第25話 バックプロパゲーションの理解に必要な知識 -最適化アルゴリズム-

今回はニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、4つ目の最適化アルゴリズムについて学習します。 <バックプロパゲーションの理解に必要な5要素> ・訓練データとテストデータ ・損失関数 ・勾配降下法 ・最適化アルゴリズム　←イマココ ・バッチサイズ 今回の具体的な内容は次のとおりです。 1. 最適化アルゴリズムの概要 2. 確率的勾配降下法(SGD) 3. Momentum 4. AdaGrad 5. RMSProp そ

えい夫＠データサイエン…

第24話 バックプロパゲーションの理解に必要な知識 -勾配降下法- 回帰問題・分類問題編

今回もニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、3つ目の勾配降下法を学習します。 <バックプロパゲーションの理解に必要な5要素> ・訓練データとテストデータ ・損失関数 ・勾配降下法　←イマココ ・最適化アルゴリズム ・バッチサイズ 前回は勾配降下法で使用する色々な勾配の一般式を導出しましたが、今回は回帰問題と分類問題における勾配を求めていきます。 具体的な内容は次のとおりです。 1. 勾配を求める一般式 -おさらい-

えい夫＠データサイエン…

第23話 バックプロパゲーションの理解に必要な知識 -勾配降下法- 詳細編

今回もニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、3つ目の勾配降下法を学習していきます。 <バックプロパゲーションの理解に必要な5要素> 1　訓練データとテストデータ 2　損失関数 3　勾配降下法　←イマココ 4　最適化アルゴリズム 5　バッチサイズ 前回は勾配降下法の概要を説明しましたが、今回はもっと深入りした話です。具体的な内容は次のとおりです。 1  求めるべき勾配(前回のおさらい) 2  勾配を求める式のまとめ 3

えい夫＠データサイエン…

第22話 バックプロパゲーションの理解に必要な知識 -勾配降下法- 概要編

今回はニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、3つ目の勾配降下法を学習します。 <バックプロパゲーションの理解に必要な5要素> 1　訓練データとテストデータ 2　損失関数 3　勾配降下法　←イマココ 4　最適化アルゴリズム 5　バッチサイズ 具体的な内容は次のとおりです。ニューラルネットワークが学習するときどういう処理がされているかの概要がわかってくるかと思います。 ・勾配降下法の概要 ・バックプロパゲーションにおける勾

えい夫＠データサイエン…