coursera by University of Alberta
A Complete Reinforcement Learning System (Capstone)
前面有很多都是复习之前的知识点，直接跳到新的地方
1、 Meeting with Martha: In-depth on Experience Replay
在连续性的任务中，为了实现对与环境交互的样本数据的充分利用，像 Dyna 方法一样，提出了 Experience Replay 方法
提出的第一个方案是学习一个函数模型来模拟环境的输入输出，根据获得的环境样本利用模型对其学习，然后使用学习的函数模型来训练 RL agent ，此方法主要问题是误差太大
Experience Replay 主要思想是利用 buffer 来对与环境交互的 sample 进行存储， buffer 用新的 sample 逐渐取代旧的 sample
image.png
image.png
2、Martin Riedmiller on The 'Collect and Infer' framework for data-efficient RL
为了解决真实世界中与环境交互的数据是有限的问题，提出 Collect and Infer 方法，主要思想是充分利用真实世界的数据
image.png
image.png
