Lý do tôi chọn Học tăng cường (Reinforcement Learning: RL) làm chủ đề đầu tiên của blog này là sự quan tâm cá nhân dành cho một lĩnh vực đã phát triển và liên tục tác động đến thế giới thực dựa trên các lý thuyết truyền thống, theo một quỹ đạo khác với deep learning và các AI agent dựa trên LLM đang tiến bộ nhanh chóng và thu hút nhiều chú ý gần đây; một lý do quan trọng khác là Học tăng cường cũng đang được tích hợp vào Exa-Solution, ứng dụng doanh nghiệp tích hợp AI và ERP mở rộng của Exavion.
Mục tiêu của loạt bài về học tăng cường này là bắt đầu từ lịch sử của lĩnh vực, phân tích và hệ thống hóa các lý thuyết cùng những thuật toán chủ chốt, rồi khám phá toàn bộ quá trình áp dụng chúng vào phần mềm thực tế.
Lịch sử học tăng cường
Máy tính xuất hiện vào thập niên 1940, và đến thập niên 1970, máy tính cá nhân bắt đầu được phổ biến rộng rãi. Trong những năm 1950–1960, các nhà khoa học máy tính và kỹ sư phần mềm thời kỳ đầu bắt đầu đặt câu hỏi: liệu có thể vượt ra ngoài một cỗ máy chỉ giỏi tính toán để tạo ra trí tuệ nhân tạo có khả năng suy nghĩ như con người hay không? Vào thời điểm đó, bên cạnh trường phái machine learning thực hiện dự đoán và phân loại dựa trên dữ liệu, còn có trường phái học tăng cường tìm cách học hành động tối ưu thông qua thử và sai (Trial-and-Error). Nghiên cứu về học tăng cường đã được tiến hành song song với machine learning từ những năm 1950, và đến thập niên 2000, phần lớn các lý thuyết và thuật toán cốt lõi mà chúng ta biết ngày nay đã được hoàn thiện. Sau đó, khi kết hợp với deep learning, học tăng cường lại đạt được một bước phát triển vượt bậc.
Học tăng cường truyền thống
Phần lớn các thuật toán học tăng cường ngày nay được xây dựng trên nền tảng lý thuyết và cấu trúc truyền thống có từ trước thập niên 2000. Các thuật toán học tăng cường truyền thống (Classical RL) này chủ yếu được triển khai theo phương pháp dạng bảng (Tabular), tức là lưu trữ và cập nhật giá trị của trạng thái và hành động trong bộ nhớ dưới dạng bảng.
Do những hạn chế về dung lượng bộ nhớ và hiệu năng tính toán của máy tính thời đó, các thuật toán này phần lớn chỉ giới hạn trong phòng thí nghiệm hoặc các mô hình lý thuyết và khó có thể áp dụng vào thực tế. Tuy nhiên, khi khái niệm “chính sách tối ưu (Optimal Policy)” nhằm lựa chọn hành động tối ưu thông qua thử và sai được đề xuất, học tăng cường dần hình thành một hệ thống lý thuyết có cấu trúc.
Về bản chất, khái niệm cốt lõi của học tăng cường rất giống cách động vật hoặc con người học thông qua tương tác với môi trường. Để định nghĩa và hệ thống hóa nguyên lý này bằng toán học, Richard Ernest Bellman đã đưa ra khái niệm hàm giá trị (Value Function) cùng phương trình Bellman (Bellman Equation) dùng để tính toán hàm đó. Ông cũng công bố quy hoạch động (Dynamic Program, DP) như một phương pháp giải phương trình này, qua đó đặt nền móng cho lý thuyết học tăng cường.
Phương trình Bellman mô tả mối quan hệ liên tiếp giữa hành động (action), phần thưởng (reward), chính sách (policy) và trạng thái (state). Nhờ đó, bài toán học tăng cường có thể được mô hình hóa thành quá trình quyết định Markov (Markov Decision Process, MDP) và phân tích bằng quy hoạch động. Hơn 20 năm sau, vào cuối thập niên 1970, một bước ngoặt khác của học tăng cường xuất hiện: học sai phân thời gian (Temporal Difference Learning, TD-Learning). TD Learning kết hợp ưu điểm của phương pháp Monte Carlo (Monte Carlo Method) và quy hoạch động (DP), trở thành một thành phần cốt lõi của học tăng cường hiện đại và là nền tảng cho nhiều thuật toán ra đời sau đó. TD là khái niệm bắt buộc phải nắm vững để hiểu học tăng cường.
Cuộc gặp gỡ với deep learning và sự trỗi dậy trở lại của học tăng cường
Năm 1989, Chris Watkins đề xuất thuật toán Q-Learning trong luận văn Learning From Delayed Rewards. Trong số các phương pháp học Temporal Difference (TD), đây là một phương pháp tiêu biểu theo hướng off-policy. Thuật toán off-policy có cấu trúc trong đó chính sách dùng để chọn hành động và chính sách dùng để học có thể khác nhau: một chính sách được dùng để học hành động (action) tốt hơn, trong khi một chính sách khác được áp dụng để lựa chọn hành động thực tế.
Sau năm 2000, khi deep learning bắt đầu đạt được những thành tựu vượt bậc, mạng nơ-ron (Neural Network) dần được kết hợp với học tăng cường dạng bảng truyền thống. Năm 2015, Google DeepMind tiếp thu những thành quả của deep learning và mở rộng Q-Learning thành Deep Q-Network (DQN), trong đó Q-Learning được triển khai bằng mạng nơ-ron sâu. Khi ấy, DeepMind áp dụng thuật toán này vào một trò chơi phá gạch thuộc dòng Atari và khiến thế giới kinh ngạc trước hình ảnh một hệ thống trí tuệ nhân tạo tự học mà không cần sự can thiệp của con người. Sau đó, Double DQN ra đời để giải quyết vấn đề ước lượng giá trị quá mức (overestimation) của Q-Learning.
Sau đó, Google DeepMind công bố AlphaGo, kết hợp deep learning với thuật toán Reinforce, một lần nữa khắc sâu tiềm năng của học tăng cường trên toàn thế giới.
https://www.youtube.com/watch?v=WXuK6gekU1Y
https://www.youtube.com/watch?v=fKBes088KV4
https://www.youtube.com/watch?v=pJPdW8WWAso&t=1s
Deep learning trở thành chìa khóa giúp vượt qua giới hạn bộ nhớ mà học tăng cường truyền thống gặp phải, và nhờ đó học tăng cường bắt đầu được ứng dụng rộng rãi trong nhiều lĩnh vực thực tế. Dòng phát triển này dẫn đến các trường hợp thành công trong môi trường thực như xe tự lái Tesla, hệ thống điều khiển robot, tác tử trò chơi và tự động hóa công nghiệp; từ năm 2017 trở đi, học tăng cường dựa trên deep learning đã trở thành tiêu chuẩn mới.
Năm 2016, DeepMind công bố thuật toán A3C (Asynchronous Advantage Actor-Critic), dựa trên phương pháp Policy Gradient và đánh dấu một bước ngoặt quan trọng khác. Trong khi phần lớn các thuật toán học tăng cường ban đầu thuộc họ Q-Learning, lựa chọn hành động tối ưu bằng cách xấp xỉ hàm giá trị hành động (Action-Value Function), thì kể từ A3C, xu hướng của học tăng cường hiện đại bắt đầu phát triển nhanh theo hướng Policy Gradient, trực tiếp xấp xỉ chính hành động thay vì giá trị của hành động. Phần lớn các thuật toán học tăng cường hiện đại được thiết kế chủ yếu xoay quanh họ Policy Gradient, còn Q-Learning có xu hướng được sử dụng như một phương tiện bổ trợ. Đây là một dòng chảy khác biệt rõ rệt so với thời kỳ trước năm 2016, khi Q-Learning còn là phương pháp chủ đạo. Từ năm 2020, vô số công trình nghiên cứu đã liên tục được công bố, và học tăng cường vẫn đang tiến hóa mạnh mẽ cho đến hiện tại. Có thể nói thời kỳ hoàng kim của RL đã thực sự mở ra.
Sự xác lập và phổ biến của lý thuyết học tăng cường
Phương trình Bellman (Bellman Equation), nền tảng của học tăng cường, ra đời để mô hình hóa bằng toán học dòng chảy tuần tự của quá trình ra quyết định. Bellman định nghĩa rằng chuỗi gồm trạng thái (state), hành động (action), phần thưởng (reward) và trạng thái kế tiếp tuân theo dạng MDP (Markov Decision Process). Ông xây dựng quy hoạch động (Dynamic Programming, DP) như một phương pháp tính toán để giải bài toán này, và về sau phương pháp đó được ứng dụng rộng rãi trong nhiều loại vấn đề. Về bản chất, thuật toán DP hoạt động bằng cách chia một vấn đề thành các bài toán con nhỏ hơn và giải chúng theo cách đệ quy (recursive). Vì vậy, nếu một bài toán có tính chất đệ quy, DP có thể là một cách tiếp cận rất mạnh. Nhờ đó, DP trở thành một kỹ thuật cốt lõi được sử dụng rộng rãi không chỉ trong học tăng cường mà còn trong nhiều lĩnh vực khoa học máy tính và ứng dụng công nghiệp.
Trong khi đó, trước khi được kết hợp với deep learning, học tăng cường từng bị xem trong một thời gian dài là lĩnh vực hấp dẫn về mặt lý thuyết nhưng có tính thực tiễn hạn chế, bởi các ràng buộc về dung lượng bộ nhớ và tài nguyên tính toán khiến nó khó áp dụng trong thế giới thực. Trong bối cảnh đó, Richard S. Sutton và Andrew G. Barto đã hệ thống hóa các lý thuyết học tăng cường vốn được nghiên cứu rời rạc cho đến thời điểm ấy, rồi xuất bản cuốn Reinforcement Learning: An Introduction vào năm 1998. Cuốn sách này trên thực tế đã trở thành “kinh thánh” của học tăng cường và là tài liệu thiết yếu mà mọi nhà nghiên cứu trong lĩnh vực đều phải tham khảo. Hai mươi năm sau, vào năm 2018, ấn bản thứ hai được xuất bản. Đây là một sự kiện mang tính biểu tượng, cho thấy học tăng cường đã bước vào một kỷ nguyên mới khi deep learning và học tăng cường bắt đầu kết hợp với nhau một cách toàn diện. Với chiều sâu toán học và phạm vi chủ đề rộng, ấn bản thứ hai đến nay vẫn được đánh giá là tài liệu tham khảo cốt lõi bao quát toàn bộ lĩnh vực học tăng cường.
David Silver, học trò của hai tác giả này, là một trong những nhân vật được chú ý nhất trong lĩnh vực học tăng cường. Tại DeepMind, ông dẫn dắt dự án AlphaGo và cũng đóng vai trò trung tâm trong việc chinh phục các trò chơi Atari bằng cách kết hợp Q-Learning với deep learning. Bài giảng về học tăng cường mà ông thực hiện cho học viên cao học tại University College London (UCL) đến nay vẫn được công bố trực tuyến cùng các slide và được nhiều nhà nghiên cứu sử dụng như tài liệu học tập thực tiễn.
https://www.youtube.com/watch?v=2pWv7GOvuf0&list=PLzuuYNsE1EZAXYR4FJ75jcJseBmo4KQ9-
Tham gia thảo luận