torch反向传播

最近在查找大数据、大模型深度学习训练方法，针对大数据量，常用数据并行的方式，扩大每轮迭代出来的样本数，而针对大模型基本靠拆分网络、半精度等手段。如果需要拆分网络就涉及深度学习前向数据流通信、反向梯度通信（本是误差反向，但实现反向传递的是梯度）。

1、反向传播

网上很多教程在讲解反向传播的机制，了解后就是一个链式求导法则，本文只举例说明，以最简单的三层网络为例。以监督学习为例，主要分三部分：前向计算、误差计算、反向计算。

已知有一批样本：（x，y），构建一个分类模型，如图1，层与层之间的连线即为这两层之间的权重，如W1,W2，也是训练网络需要更新的权重。

图 1 三层网络

隐藏计算： $h1=x*W1$

计算激活： $o1=activation(h1)$

输出计算： $h2=o1*W2$

预测计算： $predict=softmax(h2)$

activation表示经过激活函数将输入映射，常见的激活函数有sigmoid、relu、softmax、tanh等，sotfmax: $\frac{e^i }{\sum\nolimits_{j}e^j }$ 常用应用于多分类常见，将网络的输出进行归一化到0,1之间，映射的输出值可以表示概率输出。

以监督学习为例，构建的模型在预测输出值后，需要与真实值进行比较，用于衡量预测值与真实值之间的关系即为损失值，也叫误差值，用均方误差来为例： $loss=\frac{1}{N} \sum_{i}^N (y-\hat{y} )^2$

误差值： $loss=\frac{1}{N} \sum_{i}^N (y-predict)^2$

反向计算需要将，主要更新W1,W2，而更新手段是梯度下降法，更新公式如下：

$W_{i}^i =W_{i}^{i-1}-\alpha \frac{dLoss}{dW_{i} }$

可以看出，如果要更新权重，主要求解 $\frac{dLoss}{d W_{i} }$

此例只需要求解 $\frac{dLoss}{d W1}$ ， $\frac{dLoss}{d W2 }$ ，根据复合函数求导公式可得：

$\frac{dLoss}{d W2 } =\frac{dLoss}{d h2 }*\frac{d h2 }{d W2}$

$\frac{dLoss}{d W2 } =\frac{dLoss}{d h2 }*\frac{d h2 }{d o1}* \frac{d o1 }{d h1}*\frac{d h1 }{d W1}$

求解之后更新权重即可，细节可百度，哈哈哈。

先介绍下torch的处理流程，torch以构建计算图来进行计算，每一行都可看成在组装最终计算图的一部分，但这一部分是可单独运行的，下图是torch建图与反向传播的过程。

图 2 torch处理流程

下面以如何实现交叉熵求导的例子说明torch求导过程，了解该过程后，torch分布式形式的数据流向就能明确，便于后续分布式训练的学习，代码路径。softmax的求导参考softmax求导，以后有时间再详细描述。

图 3 交叉熵实现