PyTorchで深層強化学習(DQN、DoubleDQN)を実装してみた

Open AI GymのFrozenLakeを深層強化学習(DeepQ-Network)で解いてみた
前回、強化学習で解いた問題を、今回は深層強化学習(Deep Q-Network、以降DQN)で解いてみます。DQNを使うほどの問題ではないのですが、実装の勉強のため、簡単な問題で解いてみました。Deep Q-Network前回も少し触れましたが、DQNは、Q学習の行動価値関数 $Q(s, a)...

以前に勉強したDeep Q-Network(DQN)を、やっぱり離散的な状態を返す簡単なゲームでなく、連続的な状態のゲームにも適用してみたいと思い、久しぶりにまた勉強しました。

最近の深層強化学習の研究を見てみたところ、DQNからさらに進化していて、A3Cなるものまで登場していましたので、少しばかりそちらについても触れてみます。

環境(CartPole-v0)について

前回は迷路探索の問題でしたので、状態が「プレイヤーはどこにいるのか」といった離散的な値で表すことができました。

今回扱う環境は CartPole というゲームになります。

Open AI Gymによる説明とゲームの様子が下記になります。

CartPole-v0

A pole is attached by an un-actuated joint to a cart, which moves along a frictionless track. The system is controlled by applying a force of +1 or -1 to the cart. The pendulum starts upright, and the goal is to prevent it from falling over. A reward of +1 is provided for every timestep that the pole remains upright. The episode ends when the pole is more than 15 degrees from vertical, or the cart moves more than 2.4 units from the center.

つまり、台車の上に棒(ポール)を立て、その棒が倒れてしまわないように、台車を右左に動かして、バランスよく立て続けるといったゲームです。

小学生の男子が箒を手のひらに乗せてバランスを保ち続けるといった遊びをやることがあると思いますが、あれと一緒です。(自分の小学校の時はよくありました笑)

強化学習では古典的によく使われてきた環境のようで、Open AI Gymにも環境が用意されています。

ゲームのルールについてまとめると下記のようになります。

  • 状態は、棒の(横軸座標、横軸速度、ポール角度、ポール角速度)が連続値として観測できる
  • 行動は、台車を左で動かすか、右へ動かすかの2値
  • 棒が一定角度傾いてしまったらゲーム終了
  • 台車が中心から一定距離を離れてしまってもゲーム終了
  • 報酬は棒が立っている限り得られ続ける
  • 棒が一定角度傾いてしまったら報酬なし(ただし、台車の位置に関しては問われないので、一定距離離れてしまっても報酬としては得られている状態になる)

実際にOpen AI Gymから環境を読み込んで、ランダムに行動を取り続けてみたときの各値が下記のようになります。

これらの値を使って深層強化学習を実装し、棒を長く立て続けられるように台車の動きを学習させてみます。

Deep Q-Network (DQN)

前回にも説明しましたが、復習します。

状態空間(環境がとりうる状態の集合)を \mathcal{S}=\{s_1,\ldots,s_m\}、行動空間(エージェントがとりうる行動の集合)を \mathcal{A}=\{a_1,\ldots,a_n\}、政策(ポリシー)を \pi(s,a)=P(a_t=a|s_t=s)、報酬関数を r_{t+1}=r(s_t,a_t) とします。

エージェントは時刻 t の状態 s_t において、政策 \pi にしたがって行動 a_t を選択し、次の状態 s_{t+1} に遷移して、報酬 r_{t+1} を得ます。

この時において、累積報酬 \Sigma_{k=0}^Tr_{t+k+1} を最大化することが強化学習の目的でした。

これは、期待累積報酬を最大化する最適政策 \pi^{*} を求めることで、目的が達成できます。

そこで、 \pi にしたがった時の期待累積報酬を表す行動価値関数 Q_{\pi}(s,a)=E[\Sigma_{k=0}^{\infty}\gamma^kr_{t+k+1}|s_t=s,a_t=a] を考え、これの最適関数 Q^{<em>} を求めることで、 \pi^{</em>}(s)=\arg\max_{a}Q^{*}(s,a) として最適政策を求めることができます。

強化学習の代表的な手法である Q-learningでは、行動価値関数 Q で価値の高い行動を選択し、状態・報酬の観測を繰り返すことで、次の状態での Q の値と現時点での Q の値の間に生じるTD誤差を使って、最適な行動価値関数を推定します。

    \[Q(s_t,a_t){\leftarrow}Q(s_t,a_t)+\alpha\{r_{t+1}+\gamma\max_{a_{t+1}}Q(s_{t+1},a_{t+1})-Q(s_t,a_t)\}\]

しかし、この場合、状態数や行動数がとても大きい数であったり、あるいは連続的であるなどの場合には、組み合わせの数が非常に多くなってしまい、計算させるのが困難なものになってしまいます。

そこで、Deep Q-Network(DQN)では、こういった場合において、Q をテーブルではなく、関数(深層学習)で近似するということを考えます。

ただし、ここで近似する深層学習のネットワークは、状態×行動を入力とするのではなく、状態を入力して行動の Q 値を出力するネットワークを構成します。

Q-learningと同様に、Q(s_t,a_t)r+\gamma\max_{a_{t+1}}Q(s_{t+1},a_{t+1}) に近づけたいと考えるので、後者を教師信号 target として、現在の Q との誤差関数 L(s,a) を使ってネットワークを学習させます。

    \[target=r+\gamma\max_{a_{t+1}}Q(s_{t+1},a_{t+1})\]

    \[L(s,a)=\frac{1}{2}(target-Q(s,a))^2\]

またDQNでは、以上の学習アルゴリズムに加えて、下記のような工夫を加えることで、ネットワークを学習させることができました。

Experience replay

  • エージェントが繰り返し行動して得られた経験は時系列に獲得するが、経験に相関があるとネットワークが過学習してしまう
  • そこで、保存した経験からランダムに選んで学習させる

Freezing the target network

  • TD誤差の目標値に古い Q (target Q-network)を使う
  • target=r+\gamma\max_{a_{t+1}}Q_{\theta^{-1}}(s_{t+1}, a_{t+1})
  • L_{\theta}(s,a)=\frac{1}{2}(target-Q_{\theta}(s,a))^2
  • 一定周期で学習中の Q_\theta のパラメータと同期(\theta^{-1}\leftarrow\theta

Clipping rewards

  • 報酬のスケールを、正スコア+1、負スコア−1といったように統一する

Skipping frames

  • 毎フレームで行動選択を行うと計算コストがかかる上、毎フレームで行動をする必要はない
  • よって、数フレームおきに行動選択を行うようにする

以上、復習が長くなってしまいましたが、これをOpen AI GymのCartPoleに対して実装してみました。

今回はニューラルネットワークのライブラリはPyTorchを利用しました。

GitHub: https://github.com/Gin04gh/open_ai_gym/blob/master/DQN_PyTorch_CartPole.ipynb

得られる累積報酬がエポックを重ねるごとに増えていっていることが確認できます。

200ステップまでしか行動しませんので、最高累積報酬は200です。

実際に動画で保存してみたものが以下になります。

最初の方のプレイ動画では、まだ学習が進んでいなく、すぐに棒が傾いてしまってゲームが終了する状態です。

学習が進んでいない状態

次に、学習が進んだ状態のプレイ動画が下記になります。(実は冒頭の環境説明の動画と同じものです)

まだ台車が少しずつ中心から移動してしまうようですが、バランスをとって棒を立て続けられるようになっています。

学習が進んだ状態

ひとまずはこのようにして学習できることが確認できました。

今回は、前回に一度DQNを実装しているため、ネットワークの実装などはスムーズに行えましたが、その一方で、ハイパーパラメータの調整に苦労しました。

DQNに関しては、勾配法のアルゴリズムの選択も含め、論文などで良いハイパーパラメータ値についての研究がされています。

最初はなかなかうまく学習しなかったのですが、アルゴリズムやハイパーパラメータをそのような研究を参考に設定し直すことで、うまく学習するようになりました。

DQNの改善研究やA3Cについて

上記のDQNが登場したのが2013年頃のことで、その後、こういった深層強化学習の分野の研究も盛んに行われるようになってから、様々なDQNの改良が登場しています。

最近DQNについて勉強した時にその辺りの研究についても調べる機会がありましたので、その中のいくつかについて簡単に触れてみようと思います。

Double DQN

論文は下記になります。

H. van Hasselt, A. Guez, and D. Silver, Deep reinforcement learning with double q-learning, arXiv, 2015.

DQNでは、TD誤差計算時に目標値に大きすぎる値が設定されると、前の状態を過大評価してしまうという問題がありました。

そこで、2つの Q 関数を混ぜて学習をさせることで、TD誤差の計算の安定化を図ったものがDouble DQNです。

具体的には、DQNにおける教師信号出力用のネットワークを Q_{\theta^{-1}}、そのコピーを Q_{\theta} とすると、s_{t+1} でとるべき行動を Q_{\theta} で決定し、その評価値を Q_{\theta^{-1}} で出力して Q_{\theta} を更新します。

アルゴリズムを見れば分かるのですが、これはDQNのコードをほんの数行変更するだけで実現できます。

実装が下記になります。

GitHub: https://github.com/Gin04gh/open_ai_gym/blob/master/DoubleDQN_PyTorch_CartPole.ipynb

こちらも問題なく学習していくことが確認できます。

Dueling Double DQN

論文は下記になります。

Z. Wang, N. de Freitas, and M. Lanctot, Dueling Network Architectures for Deep Reinforcement Learning, arXiv, 2015.

もともとがDQNだっただけに、ネーミングがだんだんとネタのようになってきています笑

ここまでの方法では、 Q 関数において、1回の更新で1つの行動に対する価値しか更新ができません。

そこでこの研究では、Q 関数を状態価値関数 V(s) とAdvantage(行動優位)関数 A(s,a) に分解して学習させます。

    \[Q_{\theta}(s_t,a_t)=V_{\theta,\beta}+\left(A_{\theta,\alpha}(s_t,a_t)+\frac{1}{|\mathcal{A}|}\Sigma_{a_{t+1}}A_{\theta,\alpha}(s_t,a_{t+1})\right)\]

こうすることで、V については毎回更新ができるので、TD誤差の計算の伝播が早くなるようです。

単純に線形和で分解してしまうと、状態価値関数、Advantage関数がともに誤差を含めて学習してしまう恐れがあるため、これを防ぐために \frac{1}{|\mathcal{A}|}\Sigma_{a_{t+1}}A_{\theta,\alpha}(s_t,a_{t+1}) を加えるということをするようです。

Prioritized Experience Replay

論文は下記になります。

T. Schaul, J. Quan, I. Antonoglou, and D. Silver, Prioritized Experience Replay, arXiv, 2015.

名前の通りです。

DQNでは、経験からランダムに選んで学習してきているので、より学習に役立つ経験を優先して学習させるようにします。

具体的には、経験サンプルの重要性 p_i を、TD誤差の絶対値 |\delta_i| (パラメータの更新幅とみなせる)を用いて表し、確率とした上で、経験サンプリングをします。

    \[P(i)=\frac{p_i^\alpha}{\Sigma_kp_k^\alpha},\hspace{2em}p_i=|\delta_i|+\epsilon\]

こうすることで、TD誤差の大きい経験を優先して学習させられるようになります。

Gorila DQN

論文は下記になります。

A. Nair, P. Srinivasan, S. Blackwell, C. Alcicek, R. Fearon, A. De Maria, M. Suleyman, C. Beattie, S. Petersen, S. Legg, V. Mnih, and D. Silver, Massively Parallel Methods for Deep Reinforcement Learning, ICML Deep Learning Workshop, 2015.

「GOogle ReInforcement Learning Architecture」を略して「Gorila」で、頭の悪そうな名前になってしまいました。

こちらは、これまでの学習アルゴリズムの改善とは少し違い、学習を並列分散させるということをします。

Memory(経験)を集めるActorと、誤差計算を行うLearnerに分けて、並列処理をすることで、DQNよりも高速に学習できたことが報告されています。

A3C

論文は下記になります。

V. Mnih, A. P. Badia, M. Mirza, A. Graves, T. P. Lillicrap, T. Harley, D. Silver, and K. Kavukcuoglu, Asynchronous Methods for Deep Reinforcement Learning, arXiv, 2016.

Google DeepMind社により、2016年に発表された論文です。

Asynchronous Advantage Actor-Critic(A3C)は、これまでのDQNの学習アルゴリズムとは大きく変わってきます。

こちらも並列処理をさせることで、GPUを使ったDQNよりも高速に学習できることが報告されています。

また、これまでベースとしていた強化学習手法であるQ-Learningとは違い、Actor-Criticを採用しています。

主な特徴は以下の2点です。

  • Asynchronous

CPUのマルチスレッドで同時に複数のエージェントを並列で走らせ、パラメータを非同期に更新します。

つまり、

  1. \theta_{local} (スレッドごとに別々のパラメータ) \leftarrow \theta (グローバルなパラメータ)(同期)
  2. \theta_{local} を使って勾配 d\theta を計算
  3. d\theta\theta を更新
  4. 上記を繰り返す

ということをします。

また、この時にパラメータだけでなく、最適化アルゴリズムRMSpropの変数についてもグローバルに共有するようです。

    \[g = {\alpha}g+(1-\alpha)\Delta\theta^2\]

    \[\theta\leftarrow{\theta}-\eta\frac{\Delta\theta}{\sqrt{g+\epsilon}}\]

  • Advantage Actor-Critic

Actor-Criticは、政策 \pi と、状態価値関数 V をそれぞれ独立に推定しながら学習を行う強化学習手法です。

それぞれ独立に行うことにより、行動が連続的な場合でも学習させやすいといったメリットがあります。

ただし、状態価値関数は、報酬 r_{t+1} と次の状態価値 V(s_{t+1}) を使って更新されます。

したがって、次の状態価値が正しくなければ、現在の状態価値も正しく推定されないといった問題も起こります。

そこで、Actor-Criticによって時系列にまま学習できる性質を生かし、k ステップ先までの報酬を考慮した推定値(Advantage)を使います。

これにより、現在の状態価値が、より確からしい推定値となり、学習が早く進むようです。

これらの工夫によって、これまでのDQNよりも学習速度が大幅に向上することが以下のように報告されています。

黄色線がA3Cで、青色線がDQNのようですが、Breakoutとか、序盤からでもすぐに学習するようになって、かなり違うように見えます。

まとめ

以上、DQNの実装と、最近のDQN周りの深層強化学習について触れました。

今回の紹介はここまでとなりますが、2017年になってからは、A3CにおいてもGPUを扱う論文なども出ていますので、興味のある方は見てみると良いと思います。

また、つい先日発売された書籍「速習 強化学習: 基礎理論とアルゴリズム」では、今回紹介したところまでの深層強化学習の手法についても触れていますので、参考になると思います。

深層強化学習はむしろ付録であって、強化学習の歴史的な発展について、詳しく解説されている書籍ですので、強化学習の勉強におすすめな本です。

今後は、個人的には、A3Cなどもいずれは実装してみて、中身について深く理解してみたいです。

また、A3Cのアルゴリズムについては、実は、深層強化学習のライブラリとして公開されている「ChainerRL」に、すでに実装されています。

ChainerRL: https://github.com/chainer/chainerrl

単純に学習を試したいというのであれば、こちらを試してみるのも良いかもしれません。

 

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です