之所以选择强化学习（Reinforcement Learning，RL）作为本博客的第一个主题，一方面是因为我个人对强化学习抱有浓厚兴趣：它以传统理论为基础，沿着不同于近年来迅猛发展并备受关注的深度学习和 LLM AI 智能体的轨迹，不断发展并持续影响着现实世界；另一方面，强化学习将被整合到 Exavion 的扩展型 ERP、AI 集成企业应用 Exa-Solution 中，这也是主要原因之一。
本强化学习系列将从强化学习的历史出发，剖析并梳理其理论和主要算法，进而探索将其应用于实际软件的全过程。
强化学习史
计算机诞生于 20 世纪 40 年代，到了 20 世纪 70 年代，个人计算机开始大规模普及。20 世纪 50 至 60 年代，早期的计算机科学家和软件工程师开始提出这样的问题：计算机是否能够超越擅长计算的机器，成为像人一样思考的人工智能？当时，既有通过数据进行预测和分类的机器学习学派，也有试图通过试错（Trial-and-Error）学习最优行为的强化学习学派。早在 20 世纪 50 年代，强化学习研究就已经与机器学习研究并行开展；进入 21 世纪后，我们今天所熟知的大多数核心理论和算法都已基本完成。此后，强化学习与深度学习相结合，再次实现了飞跃式发展。
传统强化学习
当今大多数强化学习算法，都是建立在 21 世纪以前形成的传统理论和结构之上。这些传统强化学习（Classical RL）算法主要以 Tabular 方式实现，即将状态和行为的值以表格形式存储在内存中并不断更新。
受限于当时计算机的内存容量和运算性能，这些算法大多只能停留在实验室或理论模型中，难以应用于现实世界。然而，随着通过试错选择最优行为的“最优策略（Optimal Policy）”概念被提出，强化学习逐渐形成了一套规范化的理论体系。
强化学习的核心概念，本质上与动物或人类通过和环境互动进行学习的方式非常相似。为了用数学定义并系统化这一原理，理查德·贝尔曼（Richard Ernest Bellman）提出了价值函数（Value Function）的概念，以及用于计算价值函数的贝尔曼方程（Bellman Equation）。他还提出了用于求解这一方程的动态规划（Dynamic Program，DP），这成为强化学习理论的起点。
贝尔曼方程由行为（action）、奖励（reward）、策略（policy）和状态（state）之间连续的关系构成。因此，强化学习问题得以被建模为马尔可夫决策过程（Markov Decision Process，MDP），并可以通过动态规划加以解析。20 多年后的 20 世纪 70 年代末，强化学习迎来了另一个转折点——时序差分学习（Temporal Difference Learning，TD-Learning）的出现。TD 学习结合了蒙特卡洛方法（Monte Carlo Method）与动态规划（DP）的优点，成为现代强化学习的核心要素，也奠定了后来众多算法的基础。要理解强化学习，TD 是必须掌握的概念。
与深度学习相遇，强化学习再度腾飞
1989 年，Chris Watkins 在论文 Learning From Delayed Rewards 中提出了 Q-Learning 算法。在 Temporal Difference（TD）学习的多种方法中，该算法是遵循 off-policy 方式的代表性方法。Off-policy 算法允许选择行为时所使用的策略与学习时所使用的策略不同：用一个策略学习更优的行为（action），同时在实际选择行为时应用另一个策略。
2000 年以后，随着深度学习开始取得飞跃性成果，神经网络（Neural Network）也开始与原有的表格型强化学习相结合。2015 年，Google DeepMind 吸收深度学习的成果，将 Q-Learning 扩展为以深度神经网络实现的 Deep Q-Network（DQN）。当时，DeepMind 将该算法应用于 Atari 游戏中的一款打砖块游戏，人工智能在没有人类介入的情况下自主学习的表现震惊了世界。此后，为解决 Q-Learning 的价值过度估计（overestimation）问题，又出现了 Double DQN。
随后，Google DeepMind 发布了将深度学习与 Reinforce 算法结合的 AlphaGo，再次向全世界展示了强化学习的潜力。
https://www.youtube.com/watch?v=WXuK6gekU1Y
https://www.youtube.com/watch?v=fKBes088KV4
https://www.youtube.com/watch?v=pJPdW8WWAso&t=1s
深度学习成为突破传统强化学习内存限制的关键，由此强化学习开始全面应用于各类实际领域。这一趋势带来了 Tesla 自动驾驶汽车、机器人控制系统、游戏智能体、工业自动化等现实环境中的成功案例；2017 年以后，基于深度学习的强化学习成为了新的标准。
2016 年，DeepMind 发布了基于 Policy Gradient 方法的 A3C（Asynchronous Advantage Actor-Critic）算法，带来了又一个重要转折点。早期强化学习算法大多属于 Q-Learning 系列，通过近似行为价值函数（Action-Value Function）来选择最优行为；而在 A3C 之后，现代强化学习的趋势开始加速转向 Policy Gradient 方法，不再近似行为的价值，而是直接近似行为本身。现代大多数强化学习算法都以 Policy Gradient 系列为中心进行设计，Q-Learning 则明显更倾向于作为辅助手段使用。这与 2016 年以前 Q-Learning 占据主流的时期形成了鲜明对比。2020 年以后，大量论文相继涌现，强化学习至今仍在活跃演进。可以说，RL 的全盛时代已经正式开启。
强化学习理论的确立与传播
作为强化学习基础的贝尔曼方程（Bellman Equation），最初是为了用数学方式对决策的连续过程进行建模。贝尔曼将状态（state）、行为（action）、奖励（reward）以及通往下一状态的一系列过程定义为遵循 MDP（Markov Decision Process）的形式，并提出动态规划（Dynamic Programming，DP）作为求解这一过程的计算方法。此后，DP 被广泛应用于各种问题。DP 算法本质上通过递归（recursive）地把问题拆分为更小的子问题来求解。因此，只要问题求解中包含递归特性，DP 就可能成为非常强大的方法。正因如此，DP 不仅用于强化学习，也成为广泛应用于计算机科学和工业实践各领域的核心技术。
另一方面，在与深度学习结合之前，强化学习长期被认为是一个理论上有趣、实用性却有限的领域，因为内存容量和计算资源的限制使它难以应用于现实世界。在这种背景下，Richard S. Sutton 与 Andrew G. Barto 对当时零散研究的强化学习理论进行了系统梳理，并于 1998 年出版了 Reinforcement Learning: An Introduction 一书。该书事实上成为强化学习领域的圣经，此后任何研究强化学习的人都必须将其作为必备参考资料。20 年后的 2018 年，该书第二版出版。这一事件象征着随着深度学习与强化学习全面结合，强化学习已经进入了一个新时代。第二版以深厚的数学内容和广泛的主题覆盖，至今仍被评价为贯穿强化学习整个领域的核心参考书。
这两位作者的学生 David Silver，是强化学习领域最受关注的人物之一。他在 DeepMind 主导了 AlphaGo 项目，也在将 Q-Learning 与深度学习相结合并攻克 Atari 游戏的过程中发挥了核心作用。 他在伦敦大学学院（UCL）为研究生讲授的强化学习课程，至今仍连同幻灯片资料一起在线公开，被许多研究人员作为实用的学习资料。
https://www.youtube.com/watch?v=2pWv7GOvuf0&list=PLzuuYNsE1EZAXYR4FJ75jcJseBmo4KQ9-
参与讨论