記事一覧
ラビットチャレンジレポート：ステージ4 深層学習 day4
1. 強化学習1-1 要点
■強化学習とは
教師あり学習、教師なし学習と並ぶ、機械学習の一分野。
教師あり・なし学習は、データに含まれるパターンを見つけ出すことと、そのデータから予測を得ることを目標としている。
強化学習では、行動の結果として与えられる利益（報酬）をもとに行動を決定する原理を改善していく仕組みを用いて、環境の中で長期的に報酬を最大化できるような行動を選択できるエージェントを作るこ
ラビットチャレンジレポート：ステージ4 深層学習 day3
1. 再帰型ニューラルネットワークの概念1-1 要点
■RNNとは
時系列データに対応可能なニューラルネットワーク。
時系列データとは、時間的順序を追って一定間隔ごとに観察され、相互に統計的依存関係が認められるようなデータの系列。
例）音声データ、テキストデータ等
時系列モデルを扱うために、RNNは初期の状態と過去の時間t-1の状態を保持し、そこから次の時間tでの出力を再帰的に求める再帰構造を
ラビットチャレンジレポート：ステージ3 深層学習 day2
1. 勾配消失問題1-1 要点
■勾配消失問題
ニューラルネットワークが深くなっていくと、誤差逆伝播法が下位層に進んでいくに連れ微分値が掛け合わされていき、勾配が0に近づいていく。こうなるとパラメータはほとんど更新されず、訓練が最適値に収束しなくなってしまう。
活性化関数にシグモイド関数を用いた場合を考えると、$${f'(u)=f(u)(1-f(u))}$$であり、最大値は0.25である。このよ
ラビットチャレンジレポート：ステージ3 深層学習 day1
ニューラルネットワークの全体像は下図のようになっており、それぞれの部分ごとにレポートをまとめていく。
1. 入力層～中間層1-1 要点
■入力層
処理するべきデータを数値として受け取る層。
受け取った値は重みを掛け合わされた後、バイアス項とともに足し合わされ、中間層の各ノードに渡される。
数式上は
$$
\begin{align*}
u&=w_1x_1+w_2x_2+w_3x_3+w_4x_
ラビットチャレンジレポート：ステージ2 機械学習
1.線形回帰モデル1-1 要点
ある入力（説明変数）から出力（目的変数）の振る舞いを直線で予測するモデル。入力を$${\bm{x}}$$出力を$${y}$$とし、$${\bm{x}}$$は以下のように表される。
$$
\bm{x}=(x_1, x_2,\dots, x_m)^\mathsf{T}
$$
重みパラメータを$${\bm{w}}$$、モデルの予測値を$${\^{y}}$$とすると
ラビットチャレンジレポート：ステージ1 応用数学
第一章 線形代数1-1 要点
スカラー、ベクトル、行列の違い
■スカラー
・普通の数
・四則演算が可能
・ベクトルに対する係数になる
■ベクトル
・大きさと向きを持つ
・スカラーのセットで表示される
■行列
・スカラーを表にしたもの、ベクトルを並べたもの
・ベクトルの変換に使われる
行列同士の積は次のように定義される
行列は連立方程式の表現にも用いられる。
例として
上記の連