書記の読書記録#1123『機械学習スタートアップシリーズ　Ｐｙｔｈｏｎで学ぶ強化学習　［改訂第２版］　入門から実践まで (ＫＳ情報科学専門書)』

久保隆宏『機械学習スタートアップシリーズ　Ｐｙｔｈｏｎで学ぶ強化学習　［改訂第２版］　入門から実践まで (ＫＳ情報科学専門書)』のレビュー

機械学習スタートアップシリーズ　Ｐｙｔｈｏｎで学ぶ強化学習　［改訂第２版］　入門から実践まで (ＫＳ情報科学専門書)

レビュー

とりあえず強化学習を動かしたいという層に応えた入門書で，理論の説明は簡略化されている。斎藤『ゼロから作るDeep Learning ❹ ―強化学習編』と比較しながら読み進める。

もくじ

Day1 強化学習の位置づけを知る
強化学習とさまざまなキーワードの関係
強化学習のメリット・デメリット
強化学習における問題設定:Markov Decision Process

Day2 強化学習の解法(1): 環境から計画を立てる
価値の定義と算出: Bellman Equation
動的計画法による状態評価の学習: Value Iteration
動的計画法による戦略の学習: Policy Iteration
モデルベースとモデルフリーとの違い

Day3 強化学習の解法(2): 経験から計画を立てる
経験の蓄積と活用のバランス: Epsilon-Greedy法
計画の修正を実績から行うか、予測で行うか: Monte Carlo vs Temporal Difference
経験を価値評価、戦略どちらの更新に利用するか:Valueベース vs Policyベース

Day4 強化学習に対するニューラルネットワークの適用
強化学習にニューラルネットワークを適用する
価値評価を、パラメーターを持った関数で実装する:Value Function Approximation
価値評価に深層学習を適用する:Deep Q-Network
戦略を、パラメーターを持った関数で実装する:Policy Gradient
戦略に深層学習を適用する:Advantage Actor Critic (A2C)
状態評価か、戦略か

Day5 強化学習の弱点
サンプル効率が悪い
局所最適な行動に陥る、過学習をすることが多い
再現性が低い
弱点を前提とした対応策

Day6 強化学習の弱点を克服するための手法
サンプル効率の悪さへの対応: モデルベースとの併用/表現学習
再現性の低さへの対応: 進化戦略
局所最適な行動/過学習への対応: 模倣学習/逆強化学習

Day7 強化学習の活用領域
行動の最適化
学習の最適化

本記事のもくじはこちら：

書記の読書記録まとめ｜Writer_Rinka｜note