yuji

都内勤務 道東が好きです

yuji

都内勤務 道東が好きです

Stage4 深層学習 Day4

1. 強化学習1-1. 強化学習とは 長期的に報酬を最大化できるように環境のなかで行動を選択できるエージェントを作ることを目標とする機械学習の一分野。行動の結果として与えられる利益(報酬)をもとに、行動を決定する原理を改善していく仕組みです。 また、強化学習と通常の教師あり、教師なし学習との違いは、目標である。教師なし、あり学習では、データに含まれるパターンを見つけ出すおよびそのデータから予測することが目標。一方、強化学習では、優れた方策を見つけることが目標。 環境につ

yuji

    • Stage4 深層学習 Day3

      1. 再帰型ニューラルネットワークの概念1-1. RNN全体像時系列データに対応可能なニューラルネットワークである。時系列データとは、時間的順序を追って一定間隔ごとに観察され，しかも相互に統計的依存関係が認められるようなデータの系列のことである。 全体像は以下の通り。前の層からインプットを受け取っている。 ＜確認テスト＞ RNNのネットワークには大きく分けて３つの重みがある。１つは入力から現在の中間層を定義する際にかけられる重み、１つは中間層から出力を定義する際にかけられ

      yuji

      • Stage3 深層学習Day2

        勾配消失問題、学習率最適化手法、過学習、畳み込みニューラルネットワークについてまとめる。 1 勾配消失問題誤差逆伝播法が下位層に進んでいくに連れて、勾配がどんどん緩やかになっていく。そのため、勾配降下法による、更新では下位層のパラメータはほとんど変わらず、訓練は最適値に収束しなくなる。 勾配消失問題を回避する手法は、主に活性化関数の変更、初期値の設定方法の工夫、バッチ正規化の3つである。 1-1 活性化関数シグモイド関数ではなく、ReLU関数を使用することで勾配消失問題

        yuji

        • Stage3 深層学習Day1

          1.ニューラルネットワークの全体像1-1.ニューラルネットワークの全体像 1-2.ニューラルネットワークでできること ・回帰 連続する実数値をとる関数の近似 【主な手法】 　　　・線形回帰 　　　・回帰木 　　　・ランダムフォレスト 　　　・ニューラルネットワーク（NN） ・分類 性別（男あるいは女）や動物の種類など離散的な結果を予想するための分析 　【主な手法】 　　・ベイズ分類 　　・ロジスティック回帰 　　・決定木 　　・ランダムフォレスト 　　・ニューラルネッ

          yuji

        Stage4 深層学習 Day4

        yuji

          Stage2 機械学習

          機械学習の基本的な手法を学習する。 1-1. 線形回帰ある入力（説明変数/特徴量）から出力（目的変数）を予測する教師あり学習のモデルの一つ。線形関数であらわされるものは線形回帰、非線形関数であらわされるものは非線形回帰と言う。各係数は、全てのデータに対する予測値と、実際の値の差分を最小にする、最小二乗法で導出する。 ＜実装演習＞ sklearnに含まれる初学者の学習用データセットとして有名なボストンハウジングデータを使った住宅価格の予測を試してみる。sklearnを使用

          yuji

          Stage2 機械学習

          yuji

          Stage1　応用数学

          演習問題の中でつまずいた箇所をまとめる 固有値分解正方行列を複数の行列の乗算にする分解方法である。まず、ある行列Aにおいて固有値 λ および固有ベクトル $\overrightarrow{v}$ を以下のように定義する。 固有値分解をすると以下の通り。 Vは上記の式をそのまま使用すればよく、特別な計算は不要。 情報量 自己情報量は以下の式で定義される。 対数の底が2の場合、単位はbitとなる。シャノンエントロピーは自己情報量の平均であり以下の式で定義される。

          yuji

          Stage1　応用数学

          yuji