许多初次接触强化学习的学习者无法清楚理解马尔可夫决策过程（Markov Decision Process，MDP）与强化学习（Reinforcement Learning）之间在概念上的差异和关系，因此常常在学习初期面临入门障碍。为了减少这种困惑，有必要先梳理二者之间的关系。

数学之前的强化学习：本能、实验与条件作用

强化学习通常被教授和理解为一门以数学建模与算法为中心的学科，但实际上，它的理论起源并不在数学，而是深深植根于当时直观且实验性的心理学与神经科学。

在本系列的第二篇文章中，我们将关注几项为强化学习理论奠定基础的早期心理学实验，从考察强化学习的核心概念如何形成开始，对强化学习展开探索。

--

1. Edward Thorndike——谜箱（Puzzle Box）与试错学习

Thorndike 把猫关在箱子里，测量猫拉动杠杆逃脱所需的时间，以此研究基于试错（trial‑and‑error）的学习过程。随着时间推移，猫逃出箱子的时间逐渐缩短，并呈现出 S 形学习曲线。他据此提出了行为会因奖励而得到强化的效果律（Law of Effect），后来这一概念成为强化学习中“reward”机制的基础。在这个阶段，数学建模完全没有介入。

https://www.youtube.com/watch?v=fanm--WyQJo&t=84s

2. Ivan Pavlov——经典条件作用（Classical Conditioning）

Pavlov 在每次给狗提供食物时都让它听到铃声，并观察到原本属于中性刺激的声音逐渐引发流口水这一反射性反应。如果能够引发反射行为（流口水）的无条件刺激（食物）反复与铃声这类中性刺激相联系，那么最终仅凭铃声就能使狗流口水。

这项实验证明了外部刺激与生理反应之间的联系，“条件刺激 → 条件反应”的结构后来为强化学习中环境状态（state）和奖励预期（reward expectation）的建模提供了重要启发。这同样是源自对行为的观察，而不是数学。

https://www.youtube.com/watch?v=hhqumfpxuzI

3. B. F. Skinner——操作性条件作用（Operant Conditioning）

Skinner 通过实验系统研究了如何操控行为发生的概率：让大鼠或鸽子主动按下杠杆获得食物（奖励），或者施加惩罚以抑制特定行为。他的重要著作《The Behavior of Organisms》（1938）是这一领域的里程碑。

他的代表性实验装置 Skinner Box 是主动学习的典型案例。动物能够主动按下杠杆获得奖励，这项实验与经典条件作用不同，它证明了行为可以由主体主动发起，而且奖励（reinforcement）会影响行为发生的频率。这一结构成为当今强化学习中行为选择（action selection）、策略（policy）、基于反馈的学习（feedback learning）等核心概念的基石。在这一时期，数学仍然没有登场。

https://www.youtube.com/watch?v=cDM4E2c3gS8

4. James Olds & Peter Milner——大脑奖赏回路（Pleasure Center）

Olds 与 Milner 将电极植入大鼠的内侧前脑束（septal area），并让大鼠自己按下杠杆对该部位进行电刺激。通过这项实验，他们提供了大脑处理奖励方式的神经科学证据：当大鼠大脑的特定部位受到电刺激时，大鼠会表现出主动反复接受刺激的行为。这诱发了与自然奖励（食物、性行为等）相似的动机反应。这就是所谓的“pleasure center”研究，是关于大脑如何识别奖励的神经科学实证。这同样是完全没有数学介入的实验成果。

Olds & Milner（1954）的论文报告称：“rat would continually press a lever in return for… brief pulse of electrical stimulation in the septal area，大鼠会不断按下杠杆，以换取……对中隔区的短暂电脉冲刺激。”这是对大脑内部奖赏系统如何运作的首次证明。它表明奖励是在大脑的特定回路中处理的，也由此开启了关于愉悦感与动机的神经科学研究。

https://www.youtube.com/watch?v=uofQPLuLV9A

从实验中得到的三个要点

今天，强化学习（Reinforcement Learning，RL）已经与深度学习结合，成为人工智能的核心领域之一。然而，从前文所述的早期研究和实验可以看出，它的根源出人意料地不是数学，而是心理学直觉和生物学实验。早在计算机算法出现之前，人们就不断尝试解释人类与动物的学习及行为变化，而这些探索成为今天我们所知的强化学习理论的基石。这四项实验共同呈现了以下三点洞见，并由此提出三个问题。

• 奖励会强化行为（Thorndike、Skinner）

• 环境刺激能够引发可预测的反应（Pavlov）

• 学习受到内在动机和奖赏回路的调节（Olds & Milner）

• 奖励如何强化行为？

• 生物如何根据过去的经验调整未来的行为？

• 刺激与反应、行为与结果通过怎样的结构相互连接？

与数学相遇

当时，对这些问题的解答建立在实验和心理学直觉之上；此后，人们开始全面尝试通过数学建模，对这些现象进行定量且系统的解释。这一转折点正是 Markov Decision Process（MDP）。现在，我们需要迈向下一阶段。

当强化学习与数学相遇，也就是行为、状态、奖励和策略这些要素被组织为形式化模型时，一种能够解释智能体如何学习最优行为的数学语言随之出现。 下一篇文章将讨论处于这一概念转变核心的 Markov Decision Process，并考察强化学习如何在数学上得到确立。