【初心者向け】強化学習の入門にオススメの本を紹介する

2020/07/16

１ヶ月ほどかけて強化学習の勉強をしておりました。

気になる本は手当り次第、読んでみました。

その中で、参考になった本を紹介したいと思います。

強化学習の入門にオススメの本

最も参考になった本は、上記です。

SarsaやQ学習など従来のやり方からDQNの原理まで、コードベース（Python）でわかりやすく解説されています。

この１冊で、強化学習の要点が理解できます。

OpenAI Gymとは、OpenAIが提供している強化学習用のシミュレーションのプラットフォームです。

下記が一例です。

https://www.youtube.com/watch?v=lDav1tp1SAw

ポールが倒れないようにするには、どのようにしてカートを押せば良いのかを強化学習で学ぶというものです。（CartPoleと呼ばれている。画像認識でいうとMNISTのような存在です。）

CartPoleは、ほんの僅かな一例で、OpenAI Gymには、その他にも様々な環境が用意されています。

上記の本では、それらのシミュレーションを実際に動かして、強化学習を勉強していくスタイルになっています。

強化学習を用いれば、どのようなことができるのか、また、どうすれば実現できるのか、といったことを学ぶことができます。

ただ、紹介されているフレームワークのバージョンが古く、書かれているコードをそのまま実行しても動作しないことが度々あります。

コードを直すという一手間が必要になります。（それはそれで勉強になります。）

一番最初に紹介した「AlphaZero 深層学習・強化学習・探索人工知能プログラミング実践入門」で紹介されたアルゴリズムの原理を、より詳しく解説している本です。そして、扱っているアルゴリズムの範囲も広いです。

こちらも同様に、サンプルコードを動かして勉強を進めていくスタイルになっています。

上記の本で満足できず、更に勉強したくなったら、この本を読むと良いと思います。

プロの囲碁棋士を打ちのめしたAlphaGoの仕組みや原理に重点を置き、強化学習を解説している本です。

コードを用いた解説がほぼないので、スラスラと読めます。

現在、AlphaGoは、強化学習の最高到達地点に君臨していると言っても過言ではないです。強化学習の最前線がどうなっているのか学ぶことができます。

強化学習を勉強する上で、他にも色々な本を読みました。

しかし、今回は、参考になった本のみ紹介しました。

どの本も読みやすいと思うのでオススメです。