強化学習（Reinforcement Learning: RL）を本ブログの最初のテーマに選んだ理由は、近年急速に発展し注目を集めている深層学習やLLM AIエージェントとは異なる軌道を歩み、伝統的な理論を基盤として現実世界に継続的な影響を与えながら発展してきた強化学習への個人的な関心と、Exavionの拡張ERP、AI統合型企業アプリケーションであるExa-Solutionに強化学習が統合されることにある。

強化学習の歴史から出発し、理論と主要なアルゴリズムを解剖して整理し、それらを実際のソフトウェアに適用する全過程を探究することが、この強化学習シリーズの目的である。

強化学習の歴史

コンピューターは1940年代に登場し、1970年代にはパーソナルコンピューターの普及が本格的に広がり始めた。1950～60年代、初期のコンピューター科学者とソフトウェアエンジニアは、コンピューターが計算に優れた機械であることを超えて、人間のように思考できる人工知能を作れるのではないかという問いを投げかけ始めた。この時期には、データに基づく予測と分類を行う機械学習の学派とともに、試行錯誤（Trial-and-Error）を通じて最適な行動を学習しようとする強化学習の学派が同時に存在した。すでに1950年代から機械学習と並行して強化学習の研究が進められ、2000年代に入ると、現在知られている主要な理論とアルゴリズムの大部分がすでに完成していた。その後、強化学習は深層学習と結びつき、再び飛躍的な発展を遂げることになる。

伝統的な強化学習

今日の強化学習アルゴリズムの多くは、2000年代以前の伝統的な理論と構造を基盤として構築されている。こうした伝統的強化学習（Classical RL）のアルゴリズムは、主にTabular方式で実装されていた。これは、状態と行動の値をテーブル形式でメモリに保存し、更新する方式を意味する。

当時はコンピューターのメモリ容量と演算性能に限界があったため、これらのアルゴリズムは実験室や理論モデルに限定され、現実に適用するには多くの困難があった。しかし、試行錯誤を通じて最適な行動を選択しようとする「最適方策（Optimal Policy）」の概念が提案されたことで、強化学習は次第に体系化された理論の枠組みを備えるようになった。

強化学習の中核概念は、本質的に動物や人間が環境と相互作用しながら学習する方法と非常によく似ている。この原理を数学的に定義し体系化するため、リチャード・ベルマン（Richard Ernest Bellman）は価値関数（Value Function）の概念と、それを計算するベルマン方程式（Bellman Equation）を提案した。さらに、この方程式を解く方法として動的計画法（Dynamic Programming, DP）を発表し、これが強化学習理論の出発点となった。

ベルマン方程式は、行動（action）、報酬（reward）、方策（policy）、状態（state）の連続的な関係から構成される。これにより、強化学習の問題はマルコフ決定過程（Markov Decision Process, MDP）としてモデル化され、動的計画法で解析できるようになった。それから約20年が経過した1970年代後半には、強化学習のもう一つの転換点となる時間差学習（Temporal Difference Learning, TD-Learning）の概念が登場する。TD学習は、モンテカルロ法（Monte Carlo Method）と動的計画法（DP）の長所を組み合わせた方法で、現代の強化学習における中核要素となり、その後に登場する数多くのアルゴリズムの基盤となった。TDは、強化学習を理解するために必ず習得すべき概念である。

深層学習との出会い、強化学習の再飛躍

1989年、Chris Watkinsは論文Learning From Delayed Rewardsを通じてQ-Learningアルゴリズムを提案した。このアルゴリズムは、Temporal Difference（TD）学習のさまざまな方式の中でも、off-policy方式に従う代表的な方法である。Off-policyアルゴリズムは、行動を選択する方策と学習に使用する方策が互いに異なり得る構造であり、一つの方策でより良い行動（action）を学習しながら、実際の行動選択には別の方策を適用する方式である。

2000年以降、深層学習が飛躍的な成果を上げ始めると、従来のテーブルベースの強化学習にニューラルネットワーク（Neural Network）が組み合わされるようになった。Google DeepMindは2015年、深層学習の成果を取り入れ、Q-Learningを深層ニューラルネットワークで実装したDeep Q-Network（DQN）へと拡張した。当時、DeepMindはAtariゲームの一つであるブロック崩しゲームにこのアルゴリズムを適用し、人間の介入なしに自ら学習していく人工知能の姿で世界を驚かせた。その後、Q-Learningの過大評価（overestimation）問題を解決するためのDouble DQNが登場した。

https://youtu.be/EfGD2qveGdQ

その後、Google DeepMindはReinforceアルゴリズムに深層学習を組み合わせたAlphaGoを発表し、強化学習の可能性を世界にもう一度強く印象づけた。

https://www.youtube.com/watch?v=WXuK6gekU1Y

https://www.youtube.com/watch?v=fKBes088KV4

https://www.youtube.com/watch?v=pJPdW8WWAso&t=1s

深層学習は、従来の強化学習が抱えていたメモリの限界を突破する鍵となり、これを契機に強化学習はさまざまな実分野へ本格的に適用され始めた。この流れは、Teslaの自動運転車、ロボット制御システム、ゲームエージェント、産業オートメーションなど、実環境における成功事例へとつながり、2017年以降は深層学習ベースの強化学習が新たな標準となった。

2016年、DeepMindはもう一つの重要な転換点となるPolicy Gradient手法に基づくA3C（Asynchronous Advantage Actor-Critic）アルゴリズムを発表した。初期の強化学習アルゴリズムの多くが、行動価値関数（Action-Value Function）を近似して最適な行動を選択するQ-Learning系列であったのに対し、A3C以降の現代強化学習のトレンドは、この時点を境に行動の価値ではなく行動そのものを直接近似するPolicy Gradient方式へと発展を加速させ始めた。現代の強化学習アルゴリズムの多くはPolicy Gradient系列を中心に設計され、Q-Learningは補助的な手段として活用される傾向が顕著になった。これは、Q-Learningが主流であった2016年以前とは明らかに異なる流れである。2020年以降、数多くの論文が発表され、現在も強化学習は活発に進化している。まさにRLの全盛期が本格的に幕を開けたのである。

強化学習理論の確立と普及

強化学習の基礎となるベルマン方程式（Bellman Equation）は、意思決定の逐次的な流れを数学的にモデル化するために登場した。ベルマンは、状態（state）、行動（action）、報酬（reward）、そして次の状態へと続く一連の過程がMDP（Markov Decision Process）の形に従うと定義した。これを解くための計算方法として動的計画法（Dynamic Programming, DP）を考案し、その後、さまざまな問題で幅広く活用された。DPアルゴリズムは本質的に、問題をより小さな部分問題へ分割し、再帰的（recursive）に解決する方法で動作する。この点で、問題解決に再帰的な特性が含まれるならば、DPは非常に強力なアプローチになり得る。そのためDPは、強化学習を超えて、さまざまなコンピューター科学および産業応用分野でも広く使われる中核的な手法となった。

一方、深層学習と結びつく以前の強化学習は、長い間、理論的には興味深いものの実用性が限られた分野と認識されていた。メモリ容量と計算資源の制約により、現実に適用することが難しかったためである。このような状況の中で、Richard S. SuttonとAndrew G. Bartoは、それまで散発的に研究されてきた強化学習理論を体系的に整理し、1998年にReinforcement Learning: An Introductionという書籍を刊行した。この本は事実上、強化学習のバイブルとして定着し、その後、強化学習を学ぶ研究者であれば誰もが必ず参照する必須資料となった。20年後の2018年、この本の第2版が刊行された。これは、深層学習と強化学習が本格的に結びつき、強化学習が新たな時代へ入ったことを象徴的に示す出来事だった。第2版は、その数学的な深さと幅広いテーマの範囲から、現在も強化学習の全分野を網羅する中核的な参考書と評価されている。

この二人の著者の弟子であるDavid Silverは、強化学習分野で最も注目される人物の一人である。彼はDeepMindでAlphaGoプロジェクトを主導し、Q-Learningと深層学習を組み合わせてAtariゲームを攻略する際にも中心的な役割を果たした。 彼がUniversity College London（UCL）で大学院生を対象に行った強化学習の講義は、現在もスライド資料とともにオンラインで公開されており、多くの研究者が実践的な学習資料として活用している。

https://www.youtube.com/watch?v=2pWv7GOvuf0&list=PLzuuYNsE1EZAXYR4FJ75jcJseBmo4KQ9-