強化学習を初めて学ぶ人の多くは、MDP（Markov Decision Process）と強化学習（Reinforcement Learning）の概念的な違いと関係を明確に理解できず、学習の初期段階で壁にぶつかることがある。この混乱を減らすには、まず二つの概念の関係を整理する必要がある。

数学以前の強化学習：本能、実験、そして条件づけ

強化学習は一般に、数学的モデリングに基づくアルゴリズム中心の学問として教えられ、認識されている。しかし実際には、その理論的起源は数学ではなく、当時の直観的かつ実験的な心理学と神経科学に深く根ざしている。

本シリーズの第2回では、強化学習理論の基盤となったいくつかの初期心理学実験に光を当てながら、強化学習の中核概念がどのように形成されたかをたどることから、その探究を始めたい。

--

1. Edward Thorndike – パズルボックス（Puzzle Box）と試行錯誤学習

Thorndikeは、猫を閉じ込めた箱の中でレバーを引いて脱出するまでの時間を測定し、試行錯誤（trial‑and‑error）に基づく学習過程を実験した。時間が経つにつれて猫の脱出時間は次第に短くなり、それがS字型の学習曲線として現れることを発見した。彼はこれを基に、報酬によって行動が強化されるという効果の法則（Law of Effect）を提唱し、後にこの概念は強化学習における「reward」メカニズムの基礎となった。この時点では、数学的モデリングはまったく介在していなかった。

https://www.youtube.com/watch?v=fanm--WyQJo&t=84s

2. Ivan Pavlov - 古典的条件づけ（Classical Conditioning）

Pavlovは、犬に食物を与えるたびにベルの音を聞かせることで、もともとは中性刺激であった音が、次第に唾液分泌という反射反応を引き起こすようになる現象を観察した。反射行動（唾液分泌）を引き起こす無条件刺激（食物）がベルの音のような中性刺激と繰り返し結びつくと、最終的にはベルの音だけでも唾液を分泌することを明らかにしたのである。

これは、外部刺激と生理的反応の間の結びつきを実証した実験であり、「条件刺激 → 条件反応」という構造は、後に強化学習で環境状態（state）と報酬期待（reward expectation）をモデル化する際の重要な着想となった。これもまた、数学ではなく行動の観察から得られた結果であった。

https://www.youtube.com/watch?v=hhqumfpxuzI

3. B. F. Skinner – オペラント条件づけ（Operant Conditioning）

Skinnerは、ネズミやハトが自らレバーを押して食物（報酬）を得たり、特定の行動を抑制するために罰を与えたりする実験を通じて、行動の発生確率をどのように操作できるかを体系的に探究した。彼の主要著作『The Behavior of Organisms』（1938年）は、この分野の重要な里程標である。

彼を代表する実験装置であるSkinner Boxは、能動的学習の代表例である。動物が自らレバーを押して報酬を得る能動的な学習が可能であることを示したこの実験は、古典的条件づけとは異なり、行動が主体的に行われ、強化（reinforcement）が行動の頻度に影響を与えることを実証した。この構造は、今日の強化学習の中核概念である行動選択（action selection）、方策（policy）、フィードバックに基づく学習（feedback learning）の礎となった。この時期にも、依然として数学は登場していなかった。

https://www.youtube.com/watch?v=cDM4E2c3gS8

4. James Olds & Peter Milner – 脳の報酬回路（Pleasure Center）

OldsとMilnerは、ネズミの内側前脳束（septal area）に電極を挿入し、ネズミが自らレバーを押してその部位を電気刺激する実験を通じて、脳が報酬を処理する仕組みに関する神経科学的証拠を示した。すなわち、ネズミの脳の特定部位を電気刺激すると、ネズミがその刺激を繰り返し受けようとする行動を取ることを発見したのである。これは、自然な報酬（食物、性行動など）と類似した動機づけ反応を誘発した。いわゆる「pleasure center」の研究であり、脳が報酬をどのように認識するかを示す神経科学的な実証である。これもまた、数学がまったく介在しない実験の産物であった。

Olds & Milner（1954年）の論文は、「rat would continually press a lever in return for… brief pulse of electrical stimulation in the septal area（ネズミは中隔野への短い電気刺激パルスと引き換えに、レバーを押し続けた）」と報告しており、これは脳内報酬システムの作動を初めて実証したものである。これは、報酬が脳の特定の回路で処理されることを示唆し、快感と動機づけに関する神経科学的研究の始まりとなった。

https://www.youtube.com/watch?v=uofQPLuLV9A

実験から得られる三つの示唆

強化学習（Reinforcement Learning, RL）は、今日では深層学習と結びつき、人工知能の中核領域として定着している。しかし、これまで見てきた初期の研究と実験から分かるように、その起源は驚くべきことに数学ではなく、心理学的直観と生物学的実験にある。コンピューターアルゴリズムが登場する以前から、人間と動物の学習や行動変化を説明しようとする試みが続けられ、それが現在私たちの知る強化学習理論の礎となった。この四つの実験は、共通して次の三つの洞察と問いを投げかける。

• 報酬は行動を強化する（Thorndike, Skinner）

• 環境刺激は予測可能な反応を引き起こし得る（Pavlov）

• 学習は内的動機と報酬回路によって調整される（Olds & Milner）

• 報酬はどのように行動を強化するのか？

• 生物はどのように過去の経験に基づいて将来の行動を調整するのか？

• 刺激と反応、行動と結果はどのような構造で結びついているのか？

数学との出会い

当時、こうした問いへの答えは実験的、心理学的な直観に基づいていたが、その後、数学的モデリングによってこれらの現象を定量的かつ体系的に説明しようとする試みが本格化する。その転換点となったのが、Markov Decision Process（MDP）である。ここから私たちは次の段階へ進まなければならない。

強化学習が数学と出会ったとき、すなわち行動、状態、報酬、方策という要素が形式的なモデルとして構成され、エージェントがどのように最適な行動を学習できるかを説明する数学的言語が登場する。 次の記事では、この概念的転換の中心にあるMarkov Decision Processを取り上げ、強化学習がどのように数学的に確立されたのかを見ていく。