Nhiều người khi mới tiếp cận học tăng cường gặp phải rào cản ngay từ giai đoạn đầu vì chưa hiểu rõ sự khác biệt về khái niệm cũng như mối quan hệ giữa MDP (Markov Decision Process) và Học tăng cường (Reinforcement Learning). Để giảm bớt sự nhầm lẫn này, trước hết cần làm rõ mối quan hệ giữa hai khái niệm.

Học tăng cường trước toán học: Bản năng, thí nghiệm và điều kiện hóa

Học tăng cường thường được giảng dạy và nhìn nhận như một lĩnh vực lấy thuật toán làm trung tâm, bắt nguồn từ mô hình hóa toán học. Tuy nhiên, nguồn gốc lý thuyết thực sự của nó lại không nằm trong toán học mà bám rễ sâu vào tâm lý học và khoa học thần kinh đầy trực giác, thực nghiệm của thời kỳ đó.

Trong bài viết thứ hai của loạt bài này, chúng ta sẽ bắt đầu hành trình khám phá học tăng cường bằng cách soi chiếu một số thí nghiệm tâm lý học thời kỳ đầu đã đặt nền móng cho lý thuyết học tăng cường, đồng thời xem xét cách các khái niệm cốt lõi của lĩnh vực được hình thành.

--

1. Edward Thorndike – Puzzle Box và học bằng thử và sai

Thorndike đo thời gian một con mèo bị nhốt trong hộp kéo cần gạt để thoát ra, qua đó nghiên cứu quá trình học dựa trên thử và sai (trial‑and‑error). Ông phát hiện rằng theo thời gian, thời gian thoát khỏi hộp của con mèo ngày càng ngắn lại và tạo thành một đường cong học tập hình chữ S. Từ đó, ông đề xuất Luật hiệu quả (Law of Effect), theo đó hành vi được củng cố bởi phần thưởng; khái niệm này về sau trở thành nền tảng cho cơ chế 'reward' trong học tăng cường. Ở thời điểm này, mô hình hóa toán học hoàn toàn chưa xuất hiện.

https://www.youtube.com/watch?v=fanm--WyQJo&t=84s

2. Ivan Pavlov - Điều kiện hóa cổ điển (Classical Conditioning)

Mỗi khi đưa thức ăn cho chó, Pavlov đồng thời phát tiếng chuông và quan sát thấy âm thanh vốn là một kích thích trung tính dần có thể gây ra phản xạ tiết nước bọt. Ông chỉ ra rằng khi một kích thích không điều kiện (thức ăn), vốn gây ra hành vi phản xạ (tiết nước bọt), được liên kết lặp đi lặp lại với một kích thích trung tính như tiếng chuông, cuối cùng chỉ cần tiếng chuông cũng đủ khiến con chó tiết nước bọt.

Thí nghiệm này chứng minh mối liên hệ giữa kích thích bên ngoài và phản ứng sinh lý. Cấu trúc “kích thích có điều kiện → phản ứng có điều kiện” về sau trở thành nguồn cảm hứng quan trọng cho việc mô hình hóa trạng thái môi trường (state) và kỳ vọng phần thưởng (reward expectation) trong học tăng cường. Kết quả này cũng bắt nguồn từ quan sát hành vi chứ không phải từ toán học.

https://www.youtube.com/watch?v=hhqumfpxuzI

3. B. F. Skinner – Điều kiện hóa thao tác (Operant Conditioning)

Thông qua các thí nghiệm trong đó chuột hoặc chim bồ câu tự nhấn cần gạt để nhận thức ăn (phần thưởng), hoặc bị áp dụng hình phạt nhằm ức chế một hành vi nhất định, Skinner đã nghiên cứu một cách có hệ thống cách xác suất xuất hiện của hành vi có thể được điều chỉnh. Tác phẩm chính của ông, The Behavior of Organisms (1938), là một cột mốc của lĩnh vực này.

Thiết bị thí nghiệm tiêu biểu của ông, Skinner Box, là một ví dụ điển hình về học chủ động. Khác với điều kiện hóa cổ điển, thí nghiệm cho thấy động vật có thể chủ động học bằng cách tự nhấn cần gạt để nhận phần thưởng; hành vi được thực hiện một cách chủ động và sự củng cố (reinforcement) ảnh hưởng đến tần suất của hành vi. Cấu trúc này đặt nền móng cho các khái niệm cốt lõi của học tăng cường ngày nay như lựa chọn hành động (action selection), chính sách (policy) và học dựa trên phản hồi (feedback learning). Ở giai đoạn này, toán học vẫn chưa xuất hiện.

https://www.youtube.com/watch?v=cDM4E2c3gS8

4. James Olds & Peter Milner – Mạch phần thưởng của não bộ (Pleasure Center)

Olds và Milner cấy điện cực vào bó não trước giữa (septal area) của chuột, rồi cho chuột tự nhấn cần gạt để kích thích điện vùng này. Qua thí nghiệm, họ đưa ra bằng chứng khoa học thần kinh về cách não xử lý phần thưởng: khi một vùng cụ thể trong não chuột được kích thích điện, con chuột sẽ tự tìm cách nhận kích thích đó lặp đi lặp lại. Phản ứng này tạo ra động lực tương tự các phần thưởng tự nhiên như thức ăn hay hành vi tình dục. Nghiên cứu được gọi là “pleasure center” này là bằng chứng khoa học thần kinh thực nghiệm về cách não nhận biết phần thưởng. Đây cũng hoàn toàn là sản phẩm của một thí nghiệm không có sự can thiệp của toán học.

Bài báo năm 1954 của Olds và Milner cho biết “rat would continually press a lever in return for… brief pulse of electrical stimulation in the septal area”, nghĩa là con chuột sẽ liên tục nhấn cần gạt để đổi lấy một xung kích thích điện ngắn ở vùng vách. Đây là minh chứng đầu tiên về hoạt động của hệ thống phần thưởng trong não, cho thấy phần thưởng được xử lý trong những mạch cụ thể của não và mở đầu cho nghiên cứu khoa học thần kinh về khoái cảm cùng động lực.

https://www.youtube.com/watch?v=uofQPLuLV9A

Ba điều có thể rút ra từ các thí nghiệm

Ngày nay, Học tăng cường (Reinforcement Learning, RL) đã kết hợp với deep learning và trở thành một lĩnh vực cốt lõi của trí tuệ nhân tạo. Tuy nhiên, như những nghiên cứu và thí nghiệm thời kỳ đầu vừa trình bày cho thấy, nguồn gốc của nó đáng ngạc nhiên lại bắt đầu từ trực giác tâm lý học và thí nghiệm sinh học chứ không phải toán học. Trước cả thuật toán máy tính, đã có những nỗ lực liên tục nhằm giải thích cách con người và động vật học cũng như thay đổi hành vi; chúng đặt nền móng cho lý thuyết học tăng cường mà chúng ta biết ngày nay. Bốn thí nghiệm này cùng gợi ra ba hiểu biết và câu hỏi sau.

• Phần thưởng củng cố hành vi (Thorndike, Skinner)

• Kích thích từ môi trường có thể dẫn đến phản ứng có thể dự đoán được (Pavlov)

• Việc học được điều chỉnh bởi động lực nội tại và mạch phần thưởng (Olds & Milner)

• Phần thưởng củng cố hành vi như thế nào?

• Sinh vật điều chỉnh hành vi tương lai dựa trên kinh nghiệm quá khứ ra sao?

• Kích thích và phản ứng, hành vi và kết quả được kết nối theo cấu trúc nào?

Cuộc gặp gỡ với toán học

Vào thời điểm đó, câu trả lời cho những câu hỏi này dựa trên trực giác thực nghiệm và tâm lý học. Về sau, các nỗ lực giải thích những hiện tượng ấy một cách định lượng và có hệ thống bằng mô hình hóa toán học mới thực sự được triển khai. Bước ngoặt chính là Markov Decision Process (MDP). Giờ đây, chúng ta cần tiến sang giai đoạn tiếp theo.

Khi học tăng cường gặp toán học, các yếu tố hành động, trạng thái, phần thưởng và chính sách được cấu thành thành một mô hình chính thức, đồng thời xuất hiện một ngôn ngữ toán học giải thích cách tác tử có thể học được hành động tối ưu. Trong bài tiếp theo, chúng ta sẽ tìm hiểu Markov Decision Process, khái niệm nằm ở trung tâm của bước chuyển này, và xem học tăng cường đã được xác lập về mặt toán học như thế nào.