本文开始介绍第二个算法 Actor-Critic。 主要内容依然参考 Berkeley CS285: Lec6 Actor-Critic Algorithms
Reward To Go & Q Value
在深度强化学习（6） Policy Gradients (2) 中， 我们提到了 Reward-To-Go:
它代表从t 时刻以后， 所有的 Reward 折现( 为折现率)以后之和。 我们也可以用
来表示它。 其中：
: 当前的 Policy。
: 从
时刻开始。
: ^ 代表这个值来源于观察。
: 在
时刻,
状态下, 采用 Action
以后获得的未来 Reward 之和。
如果我们引入期望， 就可以把 ^ 给去掉， 获得更好的结果：
那么前面提到的收益函数的梯度， 就可以改成
Baseline
上一章， 我们说到了减去 Baseline 可以降低算法的 Variance， 这里我们也对上面的公式减去 Baseline ：
其中 是在
状态下， 所有可能 Action 期望, 正好符合 Baseline的要求。
Value Function
我们先总结一下我们遇到的几个函数:
(1) Q Value，在 时， 选择
获得的收益和
(2) Value Function，在 时，未来所有可能收益和
(3) A Value，在 时，选择
可以获得多少超额收益
在引入 A Value 以后，收益函数的梯度可以进一步写成：
如果我们对 估计的越好，真个模型的Variance 就会越小。
我们应该 Fit 那个Value ?
让我们回到 Reinforcement Learing Fitting 的问题上， 我们的目标是训练模型， 现在我们定义了 三个Value， 但是我们在训练的时候， 应该如何获得他们的值呢(fit) ？
经过替换，我们发现：
其中 可以经过environment 的反馈得到， 所以我们只要建立起
的函数就可以了。 换句话说，我们只要建立起来一个模型， 能够根据
得出
就可以了。 说到找出一个拟合函数， 我们自然而然的就想到了神经网络。
至此，在这个思路下， 问题就转换成了如何更新 V Value Neural Netork 的参数的深度学习的问题了。
如何估计V Value ?
为了训练一个神经网络计算， 我们必须先找到估计 V Value 的办法。 最直接的， 就是利用现有的 Policy， 进行多次模拟。
如果只进行一次模拟就是Monte Carlo 方法：
如果进行多次模拟，就是：
多次模拟的时候， 每次模型都需要重置Environment
这样的话， 我们就可以组建我们的训练数据：
对应的 Loss Function 就是：
更好的做法
此外， 还有一个办法， 可以不借助 Policy ， 直接利用 Fucntion:
式子中 直接使用，
计算。 到这里， 大家可能会有个疑问， 我们的目的就是要生成训练数据, 然后用它们训练神经网络。 但是现在生成数据的时候， 又用到了
。 这有点循环论证的意思。
我理解是， 在训练的过程中，其实我们还是引入了环境中的Ground Truth ： 。 所以在训练过程中， 还是不断的有新的信息被引入进来。
会随着训练逐渐变得好起来。
到此，我们讲完了 Actor-Ctritic 的引子， 下一节， 正式开始讲 Actor-Critic 算法。
总结一下两种 Fit V Value 的方法
- Monte Carlo： 利用Monte Carlo，基于现有 Policy和状态 ，对未来进行模型。这个方法不需要对 V Function 建立模型。
- Bootstrap (TD1)： 利用下1步的 Reward， 结合 一个V Function （神经网络），给出的下一个状态以后的所有 Reward。 这个方法需要单独对 V Function 建立模型。
