本文继续 深度强化学习(7)Actor-Critic 算法(1) , 正式开始讨论 Actor-Critic 。
基于 Monte Carol 方法的 Batch Actor-Critic 算法
- 利用现有 Policy 获取
- 利用 Monte Carlo 来计算 (这个方法不需要 计算 V 的神经网络,只是利用 Monte Carlo 模拟)。
- 计算 A Value
- 利用 A Value 计算梯度
- 更新 Policy 神经网络中的参数
画红线部分, 就是用 来 fit value。
注意, 这里的 指的是 Policy 网络中的参数, 这里Policy 是 。 此外, 也是一个神经网络。
无限回合的处理
这里有个问题, V Value 的定义是, 未来所有的 Reward 的和, 可是如何游戏是无限的,就造成了无法求 Reward 的情况。 为了解决这个问题, 我们引入 衰减参数 。
一般来说, 我们用 。
在计算 Policy Gradient 的时候, 我们用
基于 Bootstrap 方法的 Online Actor-Critic 算法
Batch Actor-Critic 算法中, 只有1个神经网络,就是 Policy , 我们记为 。 而我们这部分介绍的基于Online Actor-Critic 还有另外一个神经网络: , 它的任务是计算 Value。
Online Actor-Critic 算法:
这里的第二步, 就是在更新 。
不过,在实际操作上,也有使用一个神经网络,做, , 有人认为这可以让他们共享 Featrue, 从而达到更好的效果。
Batch 与并行计算
在实际操作中, 我们可以每次多生成几个 Sample , 然后交给不同的Worker,并行计算,这样可以加速训练过程。 每次更新 的过程, 也是使用几个Sample 计算的 的均值, 这样可以减少variance。
在并行的时候, 可以使用 synchronize 和 asynchronize 两种模式:
Off Policy 的 Actor-Critic 算法
如果你注意到了, 在上面的 Actor-Critic 算法中, 我们使用的符号都有 比如 和 , 这其实意味着,这两个值都和Policy 相关。 在计算他们的时候, 都需要利用当前 Agent 中的Policy。 这种系统中有一个唯一 Policy 的算法, 在 Reinforcement Learning 中, 称为 On Policy; 如果系统中 Policy 不唯一, 那就称为 Off Policy。 这里我们介绍 Actor-Critic 的Off Policy 版本 。
Replay Buffer
我们先介绍一下 Replay Buffer 的概念。 在上面算法中, 利用 Policy 得到 Action 以后,我们要经过一系列结算,才能得到 。 现在有个想法, 能不能做到类似于有监督学习中, 直接利用training dataset 进行训练? 如果可以的话, 那么就会大大加快训练过程。 Replay Buffer 在某种程度上满足了这个想法, 当然,算法也需要做相应的变化。
Replay Buffer 中存放的是利用最近的 Policy 计算出来的许多 Transition , 我们的想法是利用这些 Transitions, 直接训练 Policy。
Q Function
Replay Buffer 有个缺陷, 就是他存放的 并不都是利用最新的 action 计算出来的, 而计算 时, 是需要全部使用最新的 Action。 为了解决这个问题, 我们引入 Q Fucntion 来更新 的计算方法。
上面公式不太明白从那里来的话, 可以参考 Actor-Critic 算法(1)。
这里有几点要注意:
- : 这是利用 Policy 计算出来的 Action
- : 这是从 Replay Buffer 取到的 Sample
类似, 我们也需要有一个神经网络, 来生成Q值, 这里, 它在算法中的训练方法和 类似, 也可以采用 Bootstrap 的方法。
算法
- 利用现有 Policy 生成 Transitions, 放入Replay Buffer
- 从 中抽样出一批 Sample
- 利用sample, 计算 , 然后更新参数。 具体做法可以参考 的Bootstrap 方法。
- 计算 。 注意,, 是利用 Policy 计算出来的, 不是 Transition 中的。
- 更新Polity 参数
使用 Ctritic 当Baseline
目前, 我们两个版本的 Baseline
- 优点: low variance 因为使用了Critic, 它是基于很多Sample 训练出来的神经网络。
- 缺点: biased, 因为critic 不是完美的。
- 优点: unbiased
- 缺点: high variance 因为是基于单一一个样本点得到的。
我们可以讲两者结合, 得到
- 优点: low variance 它是基于很多样本训练的网络。
- 优点: no bias。
Eligibility traces & n-step returns
在算法中,我们有2种办法计算 Advantage:
1. Bootstrap (TD(1))
- 优点: low variance
- 缺点: higher biase 如果 Value Fucntion 有问题,而这常常发生。
2. MC
- 优点: no bias
- 缺点: higher variance 因为只使用了一个样本。
3. N Steps
既然如此, 我们就考虑, 让 Bootstrap 多获得几步的 Reward 也许就可以降低 Variance 了。
Idea 来源于这张图
4. Generalized Advantage Estimation (GAE)
在 n-step 的基础上, 可以进一步推出更好的方法 GAE。 GAE 的思想就是使用多个 n的组合, 来替代单一的n。 对于不同的n , 可以赋予不同的权重:
Stabebase 3 中 Actor Ctritic 的实现,用的就是 GAE。 这里就不多介绍了, 也许以后解析 SB3的代码会再看这部分的实现。