这节课主要讲了一些基本概念。
强化学习的特点
- 非监督，只需要一个奖励R
- 奖励是非即时的
- agent 的actions 影响它后续的数据
1. Reward
reward hypothesis
所有的目标都可以通过最大化累计奖励的期望来描述。
环境以及agent之间的关系可以通过下面这个图来表示。
agent通过观察，采取action，并最终获得R，环境通过接收到actions，发出observation，并且发出R。
history 就是到时间t为止，一些列O，R，A 的序列。State可以说是history的一个函数映射St = f (Ht)。环境有自己的state
agent 有自己state
马尔科夫性质：现在的状态至于之前一个时刻的状态有关。
环境的state、history都具有马尔科夫性质。
如果agent能观察到环境的所有，那么Ot = 环境的state = agent的state 他们都具有马尔科夫性质（MDP）如果不是，agent只能观察到部分环境状态，那么就是部分可见马尔科夫过程。
2. Agent的主要组成
Policy： agent的决策方程
就是state到action的映射。
确定性的：a = π(s)
随机性的：π(ajs) = P[At = ajSt = s] 以一定的概率映射到各个action上
Value function：在当前状态/动作下会得到怎样的奖励
一个对未来奖励的预测：
vπ(s) = Eπ [Rt+1 + γRt+2 + γ2Rt+3 + ::: j St = s]
Model： agent眼里的环境表示
预测环境下一步将要做出的动作，分为两种：
P 预测下一个状态，R预测下一个即时的奖励是多少
3. agent的分类
根据agent的组成，可以将agent分成几类，如下图
Model Free 就是没有Model，只有Policy和/或Value Function
Model Based 就是在Model Free的基础上有Model
等
4. 探索与利用
Reinforcement learning 就是一个试错的学习过程，agent需要不断的优化自己的policy，从它的经验中学习如何尽可能的得到更多的奖励，这当中，agent需要勇敢的试错，因为它并不知道自己得到的是不是最优值。Exploration 就是试错，找到更多可能的路径，这路径未必有好的奖励。Exploitation 就是在已经的环境条件下，最大化自己得到的奖励。
参考：
