強化学習の勉強で、参考になった書籍をまとめました。

随時更新もしていきます。

強化学習系の最新のアルゴリズムの擬似コードは、たいてい論文に記載されていますので、直接論文を参照するのもおすすめです。

Contents

強くなるロボティックゲームプレーヤーの作り方

八谷大岳,杉山将毎日コミュニケーションズ 2008-08-28

基本的な強化学習の知識に関しては、上記の書籍が参考になりました。

擬似コードやプログラムコードが記載されているので、すぐに実装を試すことができます。

コードはOctaveという数値計算用言語が使われていますが、それ以外のプログラミング言語を用いる人でもアルゴリズムの参考にすると良いと思います。

これからの強化学習

牧野貴樹,澁谷長史,白川真一,浅田稔,麻生英樹,荒井幸代,飯間等,伊藤真,大倉和博,黒江康明,杉本徳和,坪井祐太,銅谷賢治,前田新一,松井藤五郎,南泰浩,宮崎和光,目黒豊美,森村哲郎,森本淳,保田俊行,吉本潤一郎森北出版 2016-10-27

強化学習の書籍はあまり数は多くありませんが、こちらの書籍は割と最近に出てきたものになります。

強化学習の概要に加えて、応用例などが記載されています。

最新のアルゴリズムに関しても、DQNやDoubleDQNなどの概要が記されています。

擬似コードはありませんので、実装を試すというよりは、強化学習の全体的な外観を掴むのに向いている本だと思います。

チョバサパシバリ共立出版 2017-09-21

「強くなるロボティックゲームプレーヤーの作り方」、「これからの強化学習」については、私が実際に読みながら勉強した書籍でしたので、紹介させていただきましたが、これから強化学習を勉強するという方であれば、この１冊で十分かもしれません。

歴史的に強化学習の発展を追いながら、同時にアルゴリズムも記載されていますので、実装を試しながら進めることができると思います。

最後の方では、最新のアルゴリズムとして、DQNやDoubleDQN、DuelingDQNなどのDQNの改良、A3Cまで、簡単ではありますが、概要が記載されています。