meideru blog

家電メーカーで働いているmeideruのブログです。主に技術系・ガジェット系の話を書いています。

【初心者向け】強化学習の入門にオススメの本を紹介する

      2020/07/17

人工知能(AI)

1ヶ月ほどかけて強化学習の勉強をしておりました。

気になる本は手当り次第、読んでみました。

その中で、参考になった本を紹介したいと思います。

強化学習の入門にオススメの本

AlphaZero 深層学習・強化学習・探索 人工知能プログラミング実践入門

最も参考になった本は、上記です。

SarsaやQ学習など従来のやり方からDQNの原理まで、コードベース(Python)でわかりやすく解説されています。

この1冊で、強化学習の要点が理解できます。

OpenAI Gym / Baselines 深層学習・強化学習 人工知能プログラミング 実践入門

OpenAI Gymとは、OpenAIが提供している強化学習用のシミュレーションのプラットフォームです。

下記が一例です。

 

ポールが倒れないようにするには、どのようにしてカートを押せば良いのかを強化学習で学ぶというものです。(CartPoleと呼ばれている。画像認識でいうとMNISTのような存在です。)

CartPoleは、ほんの僅かな一例で、OpenAI Gymには、その他にも様々な環境が用意されています。

上記の本では、それらのシミュレーションを実際に動かして、強化学習を勉強していくスタイルになっています。

強化学習を用いれば、どのようなことができるのか、また、どうすれば実現できるのか、といったことを学ぶことができます。

ただ、紹介されているフレームワークのバージョンが古く、書かれているコードをそのまま実行しても動作しないことが度々あります。

コードを直すという一手間が必要になります。(それはそれで勉強になります。)

現場で使える!Python深層強化学習入門 強化学習と深層学習による探索と制御 (AI & TECHNOLOGY)

一番最初に紹介した「AlphaZero 深層学習・強化学習・探索 人工知能プログラミング実践入門」で紹介されたアルゴリズムの原理を、より詳しく解説している本です。そして、扱っているアルゴリズムの範囲も広いです。

こちらも同様に、サンプルコードを動かして勉強を進めていくスタイルになっています。

上記の本で満足できず、更に勉強したくなったら、この本を読むと良いと思います。

最強囲碁AI アルファ碁 解体新書 増補改訂版 アルファゼロ対応 深層学習、モンテカルロ木探索、強化学習から見たその仕組み

プロの囲碁棋士を打ちのめしたAlphaGoの仕組みや原理に重点を置き、強化学習を解説している本です。

コードを用いた解説がほぼないので、スラスラと読めます。

現在、AlphaGoは、強化学習の最高到達地点に君臨していると言っても過言ではないです。強化学習の最前線がどうなっているのか学ぶことができます。

まとめ

強化学習を勉強する上で、他にも色々な本を読みました。

しかし、今回は、参考になった本のみ紹介しました。

どの本も読みやすいと思うのでオススメです。

 -