WindowsでOpneAI GymとStable BaselinesとGym Retroを実行する

「OpenAI Gym」と「Stable Baselines」と「Gym Retro」のWindowsへのインストール方法をまとめます。Windows版は10以降の64bit版が対象になります。

1. WindowsでOpenAI Gymをインストール

「OpenAI Gym」のWindows版は実験的リリースなので、最小インストール（Algorithmic、Classic control、Toy Textのみ）までしか対応していません。Atari環境は通常の方法ではインストールできません。

(1) Anacondaをインストール
(2) スタートメニューから「Anaconda Powershell Prompt」を開く
(3) 仮想環境を作成して有効化
「openaigym」という名前で、AnacondaのPython3.6の仮想環境が生成します。その後、有効化しています。

$ conda create -n openaigym python=3.6 anaconda
$ conda activate openaigym

(4) OpenAI Gymのインストール

$ pip install gym

2. CartPole環境の動作確認

動作確認のコードは次の通りです。

import gym

# 環境の生成
env = gym.make("CartPole-v1")
env.reset()

# ランダム行動
for _ in range(2000):
    env.render()
    env.step(env.action_space.sample())

3. WindowsでAtari環境をインストール

WindowsへのAtari環境のインストール方法は次の通りです。
(情報源)

(1) Visual Studio 2015 C++ビルドツールをインストール
以下のサイトからダウンロードしてインストールしてください。「Visual Studio 2017 C++ビルドツール」がインストールされている場合は、アンインストールしてから行ってください。

・Microsoft Build Tools 2015
https://www.microsoft.com/ja-JP/download/details.aspx?id=48159

(2)Atari環境のインストール
以下のコマンドでAtari環境をインストールします。

$ pip install --no-index -f https://github.com/Kojoley/atari-py/releases atari_py

4. Atari環境の動作確認

動作確認のコードは次の通りです。

import gym

# 環境の生成
env = gym.make("CartPole-v1")
env.reset()

# ランダム行動
for _ in range(2000):
    env.render()
    env.step(env.action_space.sample())

5. WindowsでStable Baseliesをインストール

(1) Stable Baselinesに必要なシステムパッケージをインストール
「Microsoft MPI v10.0」をインストールします。「msmpisetup.exe」をダウンロードして実行してください。

・Microsoft MPI v10.0
https://www.microsoft.com/en-us/download/details.aspx?id=57467

(2) Stable Baselinesをインストール
AnacondaのPython 3.6の仮想環境で以下のコマンドを入力します。

$ pip install stable-baselines[mpi]==2.8.0
$ pip install tensorflow==1.14.0
$ pip install pyqt5
$ pip install imageio

6. Stable Baselinesの動作確認

動作確認のコードは次の通りです。

import gym
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2

# 環境の生成
env = gym.make('CartPole-v1')
¥env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)

# モデルの学習
model.learn(total_timesteps=10000)

# モデルのテスト
state = env.reset()
for i in range(2000):
    env.render()
    action, _ = model.predict(state)
    state, rewards, done, info = env.step(action)
    if done:
        break

7. WindowsでGym Retroをインストール

AnacondaのPython 3.6の仮想環境で以下のコマンドを入力します。

$ pip install gym-retro

8 Gym Retroの動作確認

動作確認のコードは次の通りです。

import retro

# 環境の生成
env = retro.make(game='Airstriker-Genesis')

env.reset()

# ランダム行動
for _ in range(2000):
    env.render()
    env.step(env.action_space.sample())

OpenAI Gym / Baselines 深層学習・強化学習 人工知能プログラミング 実践入門