Section1:強化学習 1-1:要点 ・長期的に報酬を最大化できるように環境の中で行動を選択できる エージェントを作ることを目標とする機械学習 ⇒行動の結果として与えられる利益をもとに、 行動を決定する原理を改善していく仕組み ・強化学習のイメージ ⇒方策と価値を学習するのが強化学習の目的である 方策は報酬がたくさんもらえるように学習する 価値はもっともいい状況を学習する 例：働きやすくてボーナスがたくさんもらえる職場にする方法を学習する
Section1:再帰型ニューラルネットワークの概念 1-1:要点 ・RNN(リカレントニューラルネットワーク)とは、時系列データに 対応可能なニューラルネットワークである ⇒時系列データ例：音声、テキストなど ・特徴：過去の中間層の出力を次の中間層に入力として与えてあげる ⇒過去の情報を反映した学習が行える ⇒下図のZ1→Z2に入力している部分が過去の情報 ⇒時系列モデルを扱には、初期の状態と過去の時間t-1の状態を保持 し、そこから次
Section1:勾配消失問題 1-1:要点 ・誤差逆伝播法が下位層に進んでいくに連れて、勾配がどんどん緩やかいになっていく。そのため、勾配降下法による、更新では下位層のパラメータはほとんど変わらず、訓練は最適値に収束しなくなる。 下記図の左が失敗例 ・活性化関数の微分結果が0~1の範囲になるためかけ合わせていくと値が限りなく0になってしまうため勾配消失が発生する ・勾配消失問題が起きる活性化関数の例 ・シグモイド関数
ニューラルネットワークの全体像確認テスト1： Q.ディープラーニングは、結局何をやろうとしているのか？ A.ニューラルネットワークを用いて入力値から目的とする出力値に変換 するための数学モデルを構築すること。 Q.どの値の最適化が最終目的か？ A.重み[w] バイアス[b] 確認テスト2: Q.入力層：2ノート1層 中間層：3ノード2層 出力層：1ノード1層 A. Section1:入力層～中間層・何かしらの値xを入力し、重みwとバイアスbを加えて総入力
・サポートベクタマシン ・教師あり学習の1つで、分類、回帰、外れ値検出の際に使用する ・直線や平面などで分離できないデータを高次元の空間に写して線形分離 することにより、分類を行う ・下記図の名称 f(x)：決定境界 サポートベクタ：各クラスのデータ マージン：クラス間のサポートベクタの距離 ・マージンを最大にするように決定境界を求める ⇒決定境界がサポートベクタから遠くなり多少のデータが変わっても 誤った分類を行う可能性を低くでき
・主成分分析(PCA) ・教師なし学習の1つで、次元削減を行う際に使用する。 ・分散が最大になるように次元削減をする ⇒分散が最大 = データの情報が一番残っている ・目的関数に制約条件(ノルムが1になるものｓ以下考えない)を付加した ラグランジュ関数を微分して分散が最大になる点を見つける ・寄与率：第k主成分の分散の全分散に対する割合 ・累積寄与率：第1-k主成分まで八淑した際の情報損失量の割合 演習：乳がん検査データを利用しロジスティック回帰モデ
・ロジスティック回帰モデル ・教師あり学習の1つで、分類問題を解く際に使用する。 ・扱うデータ ・入力(説明変数)：m次元ベクトル ・出力(目的変数)：0 or 1の値 ・アプローチ ・識別的アプローチ：確率を直接モデル化する←ロジスティック回帰 ・生成的アプローチ：ベイズの定理を用いて確率を算出する←GAN ・sigmoid関数 ・x^tωでは実数全体をとるためsigmoid関数を使用し、 値を[0,1]に変換する ・
・非線形回帰モデル ・教師あり学習の1つで、予測問題を解く際に使用する。 ・線形回帰との違いは、モデルのxがφ(x)に変わったもの ⇒φ(x)：基底関数とよぶ。例：sin(x) cos(x) logx ガウス型基底など ※xがφ(x)に変化しても学習するパラメーターωは線形 ・未学習：学習データに対して、十分小さな誤差が得られないモデル 対策：モデルの改良が必要 ・過学習：小さな誤差は得られたが、テスト集合誤差との差が大きいモデル 対策：学
・線形回帰モデル ・教師あり学習の1つで、予測問題を解く際に使用する。 ・扱うデータ ・入力(説明変数)：m次元ベクトル ・出力(目的変数)：スカラー値 ・パラメーターの推定方法 ・最小二乗法を用いて推定を行う(最小二乗法以外にも方法はある) ⇒データとモデル出力の二乗誤差に和が最小になるような パラメーターを推定する ※線形回帰の場合は、推定結果が最尤法の推定結果と同じになる ※外れ値には弱いため注意が必要 ⇒
【第1章：線形代数】行列とは： スカラーを表にしたものベクトルを並べたもの 単位行列(I)とは： 掛けても掛けられても相手が変化しない行列 逆行列(A^-1)とは： ある行列で線形変換した空間を元に戻す行列 ・逆行列の定義：A×A^-1 = A^-1×A = I ・逆行列の求め方：吹き出し法 / 公式を使う ※プログラムでは「吹き出し法」をよく使う!! ・逆行列が存在しない場合：行列式 = 0の時 行列式とは： 平行四辺形の面積を表現し
