一些基本的求导运算

Softmax前向

设 $\boldsymbol o = [o_1, ..., o_n]^T \in \mathbb{R}^n$ 是 $n$ 维列向量， $\hat{\boldsymbol y} = {\rm softmax} (\boldsymbol o)$ ，即对每个分量满足：

$\hat{y}_k =\frac{e^{o_k}}{ \sum_{i=1}^{n} e^{o_i}}$ 。

Softmax的winner-take-all性质

不失一般性，我们设 $o_k = \max_{j}o_j$ ，则有： $\lim_{o_k\to \infty} \hat{y}_k =\lim_{o_k\to \infty}\frac{e^{o_k}}{ \sum_{i=1}^{n} e^{o_i}}=\lim_{o_k\to \infty}\frac{1}{ \sum_{i=1}^{n} e^{o_i-o_k}}=\frac{1}{0+...0+1+0+...+0} = 1$ ，即当最大的那个量与其它拉开的差距越大时，它会占据决定性的地位。事实上，由于指数函数的增长速度，当 $o_k$ 与其它 $o_j$ 稍微拉开一点差距时，就会占据主导地位。

Softmax后向

当 $j\neq k$ 时， $\frac{\partial \hat{y}_k }{\partial o_j} = \frac{0-e^{o_k}e^{o_j}}{(\sum_{i=1}^{n}e^{o_i})^2} = -\hat{y}_k \hat{y}_j$

当 $j=k$ 时， $\frac{\partial \hat{y}_k }{\partial o_k} = \frac{e^{o_k}(\sum_{i=1}^{n}e^{o_i})-e^{o_k}e^{o_k}}{(\sum_{i=1}^{n}e^{o_i})^2} = \hat{y}_k(1 -\hat{y}_k)$

SoftmaxCrossEntropy后向

设 $\boldsymbol y$ 为n维one-hot列向量，因此所有维度的和为1，则 $\hat{\boldsymbol y}$ 与 $\boldsymbol y$ 的交叉熵为： $L(\hat{\boldsymbol y},\boldsymbol y) = - \sum_{i=1}^{n}y_i{\rm log }\hat{y}_i$ ，其关于任一个 $y_k$ 的导数为： $\frac{\partial L}{\partial \hat{y}_k} = - \frac{y_k}{\hat{y}_k}$ ，显然若直接对 $\hat{y}_k$ 进行求导，势必会要进行大量的指数运算，很容易发生溢出，而且还多了一次除法运算。所以一般在训练的时候，会考虑将softmax函数和crossentropy放到一起求出解析的导数，确保数值稳定性。考虑直接对未规范化向量 $\boldsymbol o$ 进行求导：

$\begin{aligned}\frac{\partial L}{\partial o_k}& = \frac{\partial L}{\partial \hat{y}_k} \frac{\partial \hat{y}_k}{\partial o_k} +\sum_{j \neq k} \frac{\partial L}{\partial \hat{y}_j} \frac{\partial \hat{y}_j}{\partial o_k} \\&= -\frac{y_k}{\hat{y}_k}(\hat{y}_k - \hat{y}_k^2) + \sum_{j \neq k} \frac{y_j}{\hat{y}_j}\hat{y}_k \hat{y}_j \\&= -y_k + y_k\hat{y}_k + \sum_{j\neq k}y_j\hat {y}_k \\&= (\sum_{j=1}^{n} \hat{y}_j)\hat{y}_k - y_k\\&= \hat{y}_k - y_k\end{aligned}$

因此写成梯度形式有： ${\nabla }_{\boldsymbol o} L = \hat{\boldsymbol y} - \boldsymbol y$

Hyperbolic Tangent

设 $\boldsymbol o, \boldsymbol h$ 为向量， $\boldsymbol h = {\rm tanh}(\boldsymbol o)$ 的展开形式为：

$\begin{aligned}\begin{cases}h_1 &= {\rm tanh}(o_1)\\h_2 &= {\rm tanh}(o_2)\\&...\\h_n &= {\rm tanh}(o_n) \\\end{cases}\end{aligned}$

所以雅可比矩阵为：

$\frac{\partial \boldsymbol h}{\partial \boldsymbol o} = \begin{bmatrix} \frac{\partial h_1}{\partial o_1} & 0 &... & 0 \\ 0 & \frac{\partial h_2}{\partial o_2} &... &0 \\ \vdots &\vdots & \ddots &\vdots\\ 0 &... & 0 &\frac{\partial h_n}{\partial o_n} \end{bmatrix}$

又 ${\rm tanh}(o_i) = \frac{e^{o_i} - e^{-o_i}}{e^{o_i} + e^{-o_i}}$ ，所以 $\frac{\partial {\rm tanh}(o_i)}{\partial o_i} = 1-{\rm tanh}^2(o_i) = 1 - h_i^2$ ，代入矩阵得：

$\frac{\partial \boldsymbol h}{\partial \boldsymbol o} = \begin{bmatrix} 1-h_1^2 & 0 &... & 0 \\ 0 & 1-h_2^2 &... &0 \\ \vdots &\vdots & \ddots &\vdots\\ 0 &... & 0 &1-h_n^2 \end{bmatrix}$

Sigmoid

由于 ${\rm sigmoid}(o_i) = \frac{1}{1+ e^{-o_i}}$ ，所以 $\frac{\partial {\rm sigmoid}(o_i)}{\partial o_i} = \frac{e^{-o_i}}{(1+e^{-o_i})^2} = \frac{1}{1+e^{-o_i}} (1- \frac{1}{1+e^{-o_i}}) = h_i(1-h_i)$

同理可得 $\boldsymbol h = {\rm sigmoid}(\boldsymbol o)$ 的导数：

$\frac{\partial \boldsymbol h}{\partial \boldsymbol o} = \begin{bmatrix} h_1-h_1^2 & 0 &... & 0 \\ 0 & h_1-h_2^2 &... &0 \\ \vdots &\vdots & \ddots &\vdots\\ 0 &... & 0 &h_1-h_n^2 \end{bmatrix}$

参考：Ian Goodfellow《深度学习》

最后编辑于：2022.11.13 10:59:09

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,793评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,567评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,342评论 0赞 338
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,825评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,814评论 5赞 368
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,680评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,033评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,687评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 42,175评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,668评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,775评论 1赞 332
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,419评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,020评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,978评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,206评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,092评论 2赞 351
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,510评论 2赞 343