从零开始强化学习（四）——策略梯度

四. 策略梯度(Policy Gradient)

4.1 期望奖励(Expected Reward)

在强化学习中有3个组成部分：演员(actor),环境(environment)和奖励函数(reward function)

演员就是一个网络，输入状态，输出动作
环境就是一个函数，输入状态和动作，输出状态。环境是基于规则的规则，是确定不变的
奖励是在某一个状态下采取某个动作能够获得的分数。环境是一个随机变量（因为状态和环境都是在一定分布下抽样获得的），可以计算的是奖励的期望值
一场游戏叫做一个回合(episode)或者试验(trial)
把这场游戏里面所有得到的奖励都加起来，就是总奖励(total reward)，称其为回报(return)，用R来表示它
演员要想办法去最大化它可以得到的奖励

在一场游戏里面，把环境输出的 $s$ 跟演员输出的行为 $a$ ，把 $s$ 跟 $a$ 全部串起来，叫做一个Trajectory(轨迹)，如下式所示：
$\text { Trajectory } \tau=\left\{s_{1}, a_{1}, s_{2}, a_{2}, \cdots, s_{t}, a_{t}\right\}$
可以计算每一个轨迹发生的概率。假设演员的参数已经被给定 $θ$ 。根据 $θ$ ，可以计算某一个轨迹发生的概率，即某一个回合里面发生这样状况的概率：
$\begin{aligned} p_{\theta}(\tau) &=p\left(s_{1}\right) p_{\theta}\left(a_{1} | s_{1}\right) p\left(s_{2} | s_{1}, a_{1}\right) p_{\theta}\left(a_{2} | s_{2}\right) p\left(s_{3} | s_{2}, a_{2}\right) \cdots \\ &=p\left(s_{1}\right) \prod_{t=1}^{T} p_{\theta}\left(a_{t} | s_{t}\right) p\left(s_{t+1} | s_{t}, a_{t}\right) \end{aligned}$
这个概率取决于两部分：环境的行为和Agent的行为，

环境的行为:环境的函数内部的参数或内部的规则长什么样子， $p(s_{t+1}|s_t,a_t)$ 这一项代表的是环境，环境这一项通常你是无法控制的
Agent的行为:能控制的是 $p_\theta(a_t|s_t)$ ，给定一个 $s_t$ ，演员要采取什么样的 $a_t$ 会取决于演员的参数θ，随着演员的行为不同，每个同样的轨迹，它就会有不同的出现的概率

因为状态和动作的选取是随机的，所以R是一个随机变量。在给定某一组θ的情况下，得到的 $R_\theta$ 的期望值：
$\bar{R}=\sum_\tau R(\tau)p_\theta(\tau) \\ =E_{\tau \sim p_\theta(\tau)}[R(\tau)]$
也可以理解为，从分布 $p_\theta(\tau)$ 采样一个轨迹 $\tau$ ，计算的 $R(\tau)$ 的期望值

4.2 梯度上升(Gradient Ascent)

使用梯度上升(gradient ascent)，先要计算期望的奖励(expected reward) $\bar{R}$ 的梯度，这里面只有 $p_{\theta}(\tau)$ 是跟 $θ$ 有关，所以梯度就放在 $p_{\theta}(\tau)$ 这个地方。 $p_{\theta}(\tau)$ 这个奖励函数不需要是可微分的(differentiable)，取梯度之后，使用一个公式：
$\nabla f(x)=f(x)\nabla \log f(x)$
对 $\nabla p_{\theta}(\tau)$ 使用这个公式，然后会得到 $\nabla p_{\theta}(\tau)=p_{\theta}(\tau) \nabla \log p_{\theta}(\tau)$ ，进一步地，可以得到下式：
$\frac{\nabla p_{\theta}(\tau)}{p_{\theta}(\tau)}=\nabla \log p_{\theta}(\tau)pθ(τ)$
如下式所示，对 $τ$ 进行求和，把 $R(\tau)$ 和 $\log p_{\theta}(\tau)$ 这两项使用 $p_{\theta}(\tau)$ 进行加权，既然使用 $p_{\theta}(\tau)$ 进行加权，就可以被写成期望的形式。也就是从 $p_{\theta}(\tau)$ 这个分布里面采样 $τ$ 出来，计算 $R(\tau)$ 乘上 $\nabla\log p_{\theta}(\tau)$ ，然后把对所有可能的 $\tau$ 进行求和，就是这个期望的值(expected value)。
$\begin{aligned} \nabla \bar{R}_{\theta}&=\sum_{\tau} R(\tau) \nabla p_{\theta}(\tau)\\&=\sum_{\tau} R(\tau) p_{\theta}(\tau) \frac{\nabla p_{\theta}(\tau)}{p_{\theta}(\tau)} \\&= \sum_{\tau} R(\tau) p_{\theta}(\tau) \nabla \log p_{\theta}(\tau) \\ &=E_{\tau \sim p_{\theta}(\tau)}\left[R(\tau) \nabla \log p_{\theta}(\tau)\right] \end{aligned}$
实际上这个期望值没有办法算，所以用采样的方式来采样一大堆的 $\tau$ 。采样 $\ N\$ 笔 $\tau$ ，然后去计算每一笔的这些值，把它全部加起来，就可以得到梯度。就可以去更新参，进而更新Agent，如下式所示：
$\begin{aligned} E_{\tau \sim p_{\theta}(\tau)}\left[R(\tau) \nabla \log p_{\theta}(\tau)\right] &\approx \frac{1}{N} \sum_{n=1}^{N} R\left(\tau^{n}\right) \nabla \log p_{\theta}\left(\tau^{n}\right) \\ &=\frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T_{n}} R\left(\tau^{n}\right) \nabla \log p_{\theta}\left(a_{t}^{n} \mid s_{t}^{n}\right) \end{aligned}$
下面给出 $\nabla \log p_{\theta}(\tau)$ 的具体计算过程，如下式所示:
$\begin{aligned} \nabla \log p_{\theta}(\tau) &= \nabla \left(\log p(s_1)+\sum_{t=1}^{T}\log p_{\theta}(a_t|s_t)+ \sum_{t=1}^{T}\log p(s_{t+1}|s_t,a_t) \right) \\ &= \nabla \log p(s_1)+ \nabla \sum_{t=1}^{T}\log p_{\theta}(a_t|s_t)+ \nabla \sum_{t=1}^{T}\log p(s_{t+1}|s_t,a_t) \\ &=\nabla \sum_{t=1}^{T}\log p_{\theta}(a_t|s_t)\\ &=\sum_{t=1}^{T} \nabla\log p_{\theta}(a_t|s_t) \end{aligned}$
注意， $p(s_1)$ 和 $p(s_{t+1}|s_t,a_t)$ 由环境决定，所以与 $\theta$ 无关，因此 $\nabla \log p(s_1)=0$ ， $\nabla \sum_{t=1}^{T}\log p(s_{t+1}|s_t,a_t)=0$
$\begin{aligned} \nabla \bar{R}_{\theta}&=\sum_{\tau} R(\tau) \nabla p_{\theta}(\tau)\\&=\sum_{\tau} R(\tau) p_{\theta}(\tau) \frac{\nabla p_{\theta}(\tau)}{p_{\theta}(\tau)} \\&= \sum_{\tau} R(\tau) p_{\theta}(\tau) \nabla \log p_{\theta}(\tau) \\ &=E_{\tau \sim p_{\theta}(\tau)}\left[R(\tau) \nabla \log p_{\theta}(\tau)\right]\\ &\approx \frac{1}{N} \sum_{n=1}^{N} R\left(\tau^{n}\right) \nabla \log p_{\theta}\left(\tau^{n}\right) \\ &=\frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T_{n}} R\left(\tau^{n}\right) \nabla \log p_{\theta}\left(a_{t}^{n} \mid s_{t}^{n}\right) \end{aligned}$
直观地来理解上面这个式子，也就是在采样到的数据里面，采样到在某一个状态 $s_t$ 要执行某一个动作 $a_t$ ，这个 $s_t$ 跟 $a_t$ 是在整个轨迹 $\tau$ 的里面的某一个状态和动作的对

假设在 $s_t$ 执行 $a_t$ ，最后发现 $\tau$ 的奖励是正的，那就要增加这一项的概率，就要增加在 $s_t$ 执行 $a_t$ 的概率
反之，在 $s_t$ 执行 $a_t$ 会导致 $\tau$ 的奖励变成负的，就要减少这一项的概率

举例：

做分类的时候，目标函数就是最大化或最小化的对象，因为上文现在是最大化似然(likelihood)，要最大化的对象，如下式所示:
$\frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T_{n}} \log p_{\theta}\left(a_{t}^{n} \mid s_{t}^{n}\right)$
像这种损失函数，可在神经网络框架里调用现成的函数自动计算。RL唯一不同的地方是loss前面乘上一个权重：整场游戏得到的总奖励R，它并不是在状态 $s$ 采取动作 $a$ 的时候得到的奖励，如下式所示：
$\frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T_{n}} R\left(\tau^{n}\right) \log p_{\theta}\left(a_{t}^{n} \mid s_{t}^{n}\right)$
即要把每一笔训练数据，都使用R进行加权

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 206,214评论 6赞 481
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 88,307评论 2赞 382
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 152,543评论 0赞 341
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 55,221评论 1赞 279
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 64,224评论 5赞 371
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,007评论 1赞 284
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,313评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,956评论 0赞 259
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 43,441评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,925评论 2赞 323
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,018评论 1赞 333
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,685评论 4赞 322
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,234评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,240评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,464评论 1赞 261
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,467评论 2赞 352
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,762评论 2赞 345

从零开始强化学习（四）——策略梯度

四. 策略梯度(Policy Gradient)

4.1 期望奖励(Expected Reward)

4.2 梯度上升(Gradient Ascent)

推荐阅读更多精彩内容