強化学習の勉強で、参考になった書籍をまとめました。
随時更新もしていきます。
強化学習系の最新のアルゴリズムの擬似コードは、たいてい論文に記載されていますので、直接論文を参照するのもおすすめです。
強くなるロボティックゲームプレーヤーの作り方
基本的な強化学習の知識に関しては、上記の書籍が参考になりました。
擬似コードやプログラムコードが記載されているので、すぐに実装を試すことができます。
コードはOctaveという数値計算用言語が使われていますが、それ以外のプログラミング言語を用いる人でもアルゴリズムの参考にすると良いと思います。
これからの強化学習
強化学習の書籍はあまり数は多くありませんが、こちらの書籍は割と最近に出てきたものになります。
強化学習の概要に加えて、応用例などが記載されています。
最新のアルゴリズムに関しても、DQNやDoubleDQNなどの概要が記されています。
擬似コードはありませんので、実装を試すというよりは、強化学習の全体的な外観を掴むのに向いている本だと思います。
速習 強化学習: 基礎理論とアルゴリズム
「強くなるロボティックゲームプレーヤーの作り方」、「これからの強化学習」については、私が実際に読みながら勉強した書籍でしたので、紹介させていただきましたが、これから強化学習を勉強するという方であれば、この1冊で十分かもしれません。
歴史的に強化学習の発展を追いながら、同時にアルゴリズムも記載されていますので、実装を試しながら進めることができると思います。
最後の方では、最新のアルゴリズムとして、DQNやDoubleDQN、DuelingDQNなどのDQNの改良、A3Cまで、簡単ではありますが、概要が記載されています。