Unityではじめる強化学習 / ML-Agents 0.10.0の新機能

以下、「ML-Agents 0.10.0」のリリースより。

1. 新機能

◎ Soft Actor-Critic (SAC)の追加
「Soft Actor-Critic」(SAC)が新しい訓練オプションとして追加されました。PPOを補完します。

オフポリシーアルゴリズムである「SAC」は、サンプル効率が高い(必要な環境ステップが少ない)です。ステップの実行に時間がかかる(約0.1秒以上)環境では、これにより、PPOの約3〜5倍の劇的な訓練の高速化が可能になります。

また、このサンプル効率に加えて、「SAC」は環境の小さな変動に対して堅牢であり、最適な動作を見つけるために環境を探索するのに効果的であることが示されています。

◎ サンプル環境のカラーテーマの変更
サンプル環境が新しいダークテーマに更新され、色が標準化されました。

◎ mlagents-learnでUnity環境のコマンドライン引数を渡す機能の追加
この機能の使用方法はドキュメントを参照してください。

2. 修正と改善

・Python v3.7およびTensorflow1.14に対応。
・RNNの使用でエージェントが破壊される問題を修正。（＃2549）
・推論中のメモリリークを修正。（＃2541）
・UnitySDK.logは出力されなくなりました。これにより、2019バージョンのUnity Editorの問題が修正。（＃2580）
・AcademyクラスのDone()がなくなりました。すべてのDone呼び出しはエージェントで処理する必要があります。（＃2519）
・Unityコーディング規約に従うようにC#コードが更新されました。
・GAIL報酬信号でVAILを有効にするとクラッシュする問題を修正。（＃2598）
・その他のマイナーなドキュメントの機能強化とバグ修正。

Unity ML-Agents 実践ゲームプログラミング v1.1対応版 (Unityではじめる機械学習・強化学習)