本文参考 OpenAI Spin
前一章， 我们讲了 DDPG， 它是一个很好用的 DRL 算法。 但是在某些时候， 它还是会有一些问题。一个主要的问题是 Over Estimate Q 值。 虽然DDPG 学习 Double Q-Learning 使用了 Target Network 和 Current Network 来估计Q值， 但是它在选择 Action 的时候， 每次都还是选择了 Q 值最大的 Action。 Twin Delayed DDPG (TD3) 使用了3个方法， 来试图解决这个问题：
- Clipped Double-Q Learning ： TD3 使用2个 Q-functions， 每次使用Q值较低的 Fucntion。
- 延迟 Policy 更新： DDPG 每一轮都会更新 Policy， 但是 TD3 会延迟参数更新。
- 给 Target Action 增加噪声 ： 通过给 Action 增加噪声，来减少Over Estimate 。
一些要点
- TD3 是 Off-Policy
- TD3 也是用于连续型 action。
给Target Action 增加噪声
在 DDPG 中， 我们使用 来选择Action， 如果某些 Action 的Q值出现了不正常的 “尖峰”， 那么算法就会频繁的选择这些 Action， 从而导致算法不稳定。 为了解决这个问题 TD3 引入了平滑机制。
- 加入高斯噪音
。
- 对造成进行限制，其绝对值不能超过
(超参数)，这样噪声就变成了
- 把噪声加到
上
- 加和以后的 Action 加上限制，防止得到的 Action 超出允许范围 (
)
2 个Q Fucntion
每个Q Fucntion 都有一个 Target Fucntion， 更新方法和单个 Q Function 在DDGP中的方式一样。 实际使用时，每个Q Fucntion都会给出一个 Q值， 每次选择较小的 Q 值， 作为 最终的 Q值。
两个网络的更新方式是：
- 其中
代表 Replay Buffer
更新 Policy
TD3 更新 Policy 的方式和 DDGP 一样， 唯一不同的是， TD3 有2个 Q Fucntion， 在更新 Policy的时候， 使用的是第1个 Q-Fucntion。
Exploration vs. Exploitation 的权衡
TD3 是 Deterministic 的 Off-Policy 算法。因为策略是确定性（Deterministic）的，所以会限制 Agent 探索策略空间。为了使 TD3 策略更好地探索，在训练时引入了高斯噪声。如果想获得更高质量的训练数据，也可以在训练过程中减少噪声的规模。 这种情况下， 探索策略空间和训练数据质量， 构成了在噪声水平上的一对 Tradeoff。
伪代码
这是 OpenAI SpinUp 的伪代码。 需要注意的是， 他在 transition 里面引入了 d。 比如, 其中 d 代表当
是否意味着最终状态， 比如游戏结束，如果
那么，就意味着 Trajectory 结束了。 因为在 Python 中 True 就是 1， 所以在计算 Target
value 的时候， 有
。 意思是，如果游戏结束
那么
，后面的
值就是0 。
