《神经网络与机器学习》笔记（五）

第七章网络优化与正则化

虽然神经网络具有非常强的表达能力，但是当应用神经网络模型到机器学习时依然存在一些难点问题。主要分为两大类：
（1）优化问题：神经网络模型是一个非凸函数，再加上在深度网络中的梯度消失问题，很难进行优化；另外，深度神经网络模型一般参数比较多，训练数据也比较大，会导致训练的效率比较低。
（2）泛化问题：因为神经网络的拟合能力强，反而容易在训练集上产生过拟合。因此在训练深度神经网络时，同时也需要通过一定的正则化方法来改进网络的泛化能力。

网络优化

深度神经网络是一个高度非线性的模型，其风险函数是一个非凸函数，因此风险最小化是一个非凸优化问题，会存在很多局部最优点。

网络优化的难点

网络结构多样性

没有通用的优化方法
网络的超参数太多

高维变量的非凸优化

低维空间的非凸优化问题主要是存在一些局部最优点。基于梯度下降的优化方法会陷入局部最优点，因此低维空间的非凸优化问题的主要难点是如何选择初始参数和逃离局部最优点。

在高维空间中，非凸优化的难点主要是两个：

如何逃离鞍点（鞍点的梯度是0，但是在一些维度上是最高点，在另一些维度上是最低点）。在高维空间中，局部最优点要求在每一维度上都是最低点，这种概率非常低。也就是说高维空间中，大部分梯度为0 的点都是鞍点。基于梯度下降的优化方法会在鞍点附近接近于停滞，同样很难从这些鞍点中逃离。

鞍点示例

如何避免陷入平坦底部，因为深度神经网络的参数非常多，并且有一定的冗余性，这使得每单个参数对最终损失的影响都比较小，这导致了损失函数在局部最优点附近是一个平坦的区域，称为平坦最小值（Flat Minima）。并且在非常大的神经网络中，大部分的局部最小值是相等的。虽然神经网络有一定概率收敛于比较差的局部最小值，但随着网络规模增加，网络陷入局部最小值的概率大大降低。

神经网络中的平坦底部示例

目前，深度神经网络的参数学习主要是通过梯度下降法来寻找一组可以最小化结构风险的参数。在具体实现中，梯度下降法可以分为：批量梯度下降、随机梯度下降以及小批量梯度下降三种形式。根据不同的数据量和参数量，可以选择一种具体的实现形式。除了在收敛效果和效率上的差异，这三种方法都存在一些共同的问题，比如1）如何改进优化算法；2）如何初始化参数；3）如何预处理数据等。

优化算法

小批量梯度下降

令f(x; θ) 表示一个深度神经网络，θ 为网络参数，在使用小批量梯度下降进行优化时，每次选取K个训练样本 $\mathcal{I}_t={(x^{(k)},y^{(k)})}^K_{k=1}$ 。第t次迭代时损失函数关于参数θ的偏导数为： $\mathfrak{g}_{t}(\theta)=\frac{1}{K} \sum_{\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(k)}\right) \in \mathcal{I}_{t}} \frac{\partial \mathcal{L}\left(\boldsymbol{y}^{(k)}, f\left(\boldsymbol{x}^{(k)} ; \theta\right)\right)}{\partial \theta}$ ，其中 $\mathcal{L}(\cdot)$ 为可微分的损失函数，K称为批量大小。

第t次更新的梯度g_t定义为： $\mathbf{g}_{t} \triangleq \mathfrak{g}_{t}\left(\theta_{t-1}\right)$

使用梯度下降来更新参数， $\theta_t\leftarrow\theta_{t-1}-\alpha\mathbf{g}_t$ ，其中α>0为学习率。

每次迭代时参数更新的差值Δθt 定义为： $\Delta \theta_{t} \triangleq \theta_{t}-\theta_{t-1}$

Δθt 和梯度g_t 并不需要完全一致。Δθ_t 为每次迭代时参数的实际更新方向，即θ_t = θ_t−1 + Δθ_t。在标准的小批量梯度下降中，Δθ_t = −αg_t。

从上面公式可以看出，影响小批量梯度下降法的因素有：1）批量大小K；2）学习率α以及3）梯度估计。

批量大小选择

批量大小不影响随机梯度的期望，但是会影响随机梯度的方差。

批量大小越大，随机梯度的方差越小，引入的噪声也越小，训练也越稳定，因此可以设置较大的学习率。而批量大小较小时，需要设置较小的学习率，否则模型会不收敛。学习率通常要随着批量大小的增大而相应地增大。

一个简单有效的方法是线性缩放规则（Linear Scaling Rule）：当批量大小增加m倍时，学习率也增加m倍。线性缩放规则往往在批量大小比较小时适用，当批量大小非常大时，线性缩放会使得训练不稳定。

学习率调整

常用的学习率调整方法包括学习率衰减、学习率预热、周期性学习率调整以及一些自适应调整学习率的方法，比如AdaGrad、RMSprop、AdaDelta 等。自适应学习率方法可以针对每个参数设置不同的学习率。

学习率衰减

从经验上看，学习率在一开始要保持大些来保证收敛速度，在收敛到最优点附近时要小些以避免来回震荡。比较简单的学习率调整可以通过学习率衰减（Learning Rate Decay）的方式来实现，也称为学习率退火。

不失一般性，这里的衰减方式设置为按迭代次数进行衰减。假设初始化学习率为α₀，在第t 次迭代时的学习率α_t。常见的衰减方法有以下几种：

分段常数衰减：即每经过T₁, T₂, · · · , T_m 次迭代将学习率衰减为原来的β₁, β₂, · · · , β_m 倍，其中T_m 和β_m < 1 为根据经验设置的超参数。分段常数衰减也称为阶梯衰减（Step Decay）
逆时衰减： $\alpha_t=\alpha_0\frac{1}{1+\beta\times t}$ ，其中β为衰减率。
指数衰减： $\alpha_t=\alpha_0\beta^t$ ，其中β<1为衰减率。
自然指数衰减： $\alpha_t=\alpha_0exp(\beta \times t)$ ，其中β为衰减率。
余弦衰减： $\alpha_t=\frac{1}{2}\alpha_0(1+cos(\frac{t\pi}{T}))$ ，其中T为总的迭代次数。

学习率预热

为了提高训练稳定性，我们可以在最初几轮迭代时，采用比较小的学习率，等梯度下降到一定程度后再恢复到初始的学习率，这种方法称为学习率预热。

一个常用的学习率预热方法是逐渐预热。假设预热的迭代次数为T′，初始学习率为α₀，在预热过程中，每次更新的学习率为： $\alpha^{'}_t=\frac{t}{T^{'}}\alpha_0,1\leq t\leq T^{'}$ ，当预热过程结束，再选择一种学习率衰减方法来逐渐降低学习率。

周期性学习率调整

周期性学习率调整可以使得梯度下降法在优化过程中跳出尖锐的局部极小值，虽然会短期内会损害优化过程，但最终会收敛到更加理想的局部极小值。

周期性学习率调整

循环学习率：即让学习率在一个区间内周期性地增大和缩小。通常可以使用线性缩放来调整学习率，称为三角循环学习率。假设每个循环周期的长度相等都为2ΔT，其中前ΔT 步为学习率线性增大阶段，后ΔT 步为学习率线性缩小阶段。在第t 次迭代时，其所在的循环周期数m为： $m=\left \lfloor 1+\frac{t}{2\Delta T} \right \rfloor$ ，第t 次迭代的学习率为 $\alpha_{t}=\alpha_{\min }^{m}+\left(\alpha_{\max }^{m}-\alpha_{\min }^{m}\right)(\max (0,1-b))$ ，其中 $\alpha_{\max }^{m}和\alpha_{\min }^{m}$ 分别为第m个周期中学习率的上界和下界。，可以随着m的增大而逐渐降低；b ∈ [0, 1] 的计算为： $b=|\frac{t}{\Delta T}-2m+1|$

带热重启的随机梯度下降：用热重启方式来替代学习率衰减的方法。学习率每间隔一定周期后重新初始化为某个预先设定值，然后逐渐衰减。每次重启后模型参数不是从头开始优化，而是从重启前的参数基础上继续优化。

假设在梯度下降过程中重启M 次，第m次重启在上次重启开始第Tm 个回合后进行，Tm 称为重启周期。在第m次重启之前，采用余弦衰减来降低学习率。第t 次迭代的学习率为： $\alpha_{t}=\alpha_{\min }^{m}+\frac{1}{2}\left(\alpha_{\max }^{m}-\alpha_{\min }^{m}\right)(1+cos(\frac{T_{cur}}{T_m}\pi))$ ，其中 $\alpha_{\max }^{m}和\alpha_{\min }^{m}$ 分别为第m个周期中学习率的上界和下界。，可以随着m的增大而逐渐降低；T_cur 为从上次重启之后的回合（Epoch）数。T_cur 可以取小数，比如0.1、0.2 等，这样可以在一个回合内部进行学习率衰减。重启周期T_m 可以随着重启次数逐渐增加，比如T_m = T_m−1 × κ，其中κ ≥ 1 为放大因子。

AdaGrad 算法

在标准的梯度下降法中，每个参数在每次迭代时都使用相同的学习率。由于每个参数的维度上收敛速度都不相同，因此根据不同参数的收敛情况分别设置学习率。

AdaGrad（Adaptive Gradient）算法是借鉴ℓ2 正则化的思想，每次迭代时自适应地调整每个参数的学习率。在第t 次迭代时，先计算每个参数梯度平方的累计值： $G_{t}=\sum_{\tau=1}^{t} g_{\tau} \odot g_{\tau}$ ，其中 $\odot$ 为按元素乘积。 $g_{\tau}\in\mathbb{R}^{|\theta|}是第\tau次$ 迭代时的梯度。

AdaGrad 算法的参数更新差值为： $\Delta \theta_t=-\frac{\alpha}{\sqrt{G_t+\epsilon}}\odot g_t$ ，其中α 是初始的学习率，ϵ 是为了保持数值稳定性而设置的非常小的常数，一般取值e−7 到e−10。此外，这里的开平方、除、加运算都是按元素进行的操作。

在AdaGrad 算法中，如果某个参数的偏导数累积比较大，其学习率相对较小；相反，如果其偏导数累积较小，其学习率相对较大。但整体是随着迭代次数的增加，学习率逐渐缩小。

AdaGrad 算法的缺点是在经过一定次数的迭代依然没有找到最优点时，由于这时的学习率已经非常小，很难再继续找到最优点。

RMSprop算法

是一种自适应学习率的方法，可以在有些情况下避免AdaGrad 算法中学习率不断单调下降以至于过早衰减的缺点。

RMSprop算法首先计算每次迭代梯度g_t 平方的指数衰减移动平均，
$\begin{aligned} G_{t} &=\beta G_{t-1}+(1-\beta) g_{t} \odot g_{t} \\ &=(1-\beta) \sum_{\tau=1}^{t} \beta^{t-\tau} g_{\tau} \odot g_{\tau} \end{aligned}$
其中β 为衰减率，一般取值为0.9。

RMSprop算法的参数更新差值为： $\Delta \theta_t=-\frac{\alpha}{\sqrt{G_t+\epsilon}}\odot g_t$ ，其中α 是初始的学习率。

从上式可以看出，RMSprop 算法和AdaGrad 算法的区别在于Gt 的计算由累积方式变成了指数衰减移动平均。在迭代过程中，每个参数的学习率并不是呈衰减趋势，既可以变小也可以变大。

AdaDelta 算法

也是AdaGrad算法的一个改进。和RMSprop算法类似，AdaDelta 算法通过梯度平方的指数衰减移动平均来调整学习率。此外，AdaDelta 算法还引入了每次参数更新差Δθ 的平方的指数衰减权移动平均。

第t 次迭代时，每次参数更新差 $\Delta \theta_{\tau},1 \leq \tau \leq t-1$ 的平方的指数衰减权移动平均为：

$\Delta X^2_{t-1}=\beta\Delta X^2_{t-2}+(1-\beta_1)\Delta\theta_{t-1}\odot\Delta\theta_{t-1}$

其中β₁ 为衰减率。此时Δθ_t 还未知，因此只能计算到ΔX_t−1。

AdaDelta 算法的参数更新差值为： $\Delta \theta_{t}=-\frac{\sqrt{\Delta X_{t-1}^{2}+\epsilon}}{\sqrt{G_{t}+\epsilon}} \mathrm{g}_{t}$ ，其中Gt 的计算方式和RMSprop 算法一样， $\Delta X^2_{t-1}$ 为参数更新差Δθ 的指数衰减权移动平均。在一定程度上平抑了学习率的波动。

梯度估计修正

动量法

动量（Momentum）是模拟物理中的概念，是用之前积累动量来替代真正的梯度。每次迭代的梯度可以看作是加速度。

在第t 次迭代时，计算负梯度的“加权移动平均”作为参数的更新方向， $\Delta \theta_{t}=\rho \Delta \theta_{t-1}-\alpha g_{t}=-\alpha \sum_{\tau=1}^{t} \rho^{t-\tau} g_{\tau}$ ，其中 $\rho$ 为动量因子，通常设为0.9，α为学习率。

根据梯度方向是否一致，可以保证在初始时加速度快，在迭代后期加速度小。

Nesterov 加速梯度

是一种对动量法的改进。在动量法中，实际的参数更新方向Δθ_t 为上一步的参数更新方向Δθ_t−1 和当前梯度的反方向−g_t 的叠加。这样，Δθ_t 可以被拆分为两步进行，先根据Δθ_t−1更新一次得到参数 $\hat{\theta}$ ，再用−g_t 进行更新。
$\begin{aligned} \hat{\theta} &=\theta_{t-1}+\rho \Delta \theta_{t-1} \\ \theta_{t} &=\hat{\theta}-\alpha g_{t} \end{aligned}$
其中梯度g_t 为点θ_t−1 上的梯度，因此在第二步更新中有些不太合理。更合理的更新方向应该为 $\hat{\theta}$ 上的梯度。

这样，合并后的更新方向为： $\Delta \theta_{t}=\rho \Delta \theta_{t-1}-\alpha \mathfrak{g}_{t}\left(\theta_{t-1}+\rho \Delta \theta_{t-1}\right)$ ，其中 $\mathfrak{g}_{t}\left(\theta_{t-1}+\rho \Delta \theta_{t-1}\right)$ 表示损失函数在点 $\hat\theta=\theta_{t-1}+\rho \Delta \theta_{t-1}$ 上的偏导数。

动量法和Nesterov 加速梯度的比较

Adam算法

自适应动量估计（Adam）算法可以看作是动量法和RMSprop 算法的结合，不但使用动量作为参数更
新方向，而且可以自适应调整学习率。

Adam 算法一方面计算梯度平方 $\mathbf{g}^2_t$ 的指数加权平均（和RMSprop 算法类似），另一方面计算梯度 $\mathbf{g}_t$ 的指数加权平均（和动量法类似）。
$\begin{aligned} M_t&=\beta_1M_{t-1}+(1-\beta_1)g_t,\\ G_t&=\beta_2G_{t-1}+(1-\beta_2)g_t\odot g_t\\ 其中\beta_1和\beta_2分别&为两个移动平均的衰减率，通常取值为\beta_1 = 0.9, \beta_2 = 0.99。 \end{aligned}$
M_t 可以看作是梯度的均值（一阶矩），G_t 可以看作是梯度的未减去均值的方差（二阶矩）。

假设M₀ = 0,G₀ = 0，那么在迭代初期M_t 和G_t 的值会比真实的均值和方差要小。特别是当β1 和β2 都接近于1 时，偏差会很大。因此，需要对偏差进行修正。
$\begin{aligned} \hat{M}_{t} &=\frac{M_{t}}{1-\beta_{1}^{t}} \\ \hat{G}_{t} &=\frac{G_{t}}{1-\beta_{2}^{t}} \\ Adam算法的参数更新差值为&\Delta \theta_{t} =-\frac{\alpha}{\sqrt{G_{t}+\epsilon}} \hat{M}_{t} \end{aligned}$
Adam 算法是RMSProp 算法与动量法的结合，因此一种自然的Adam 算法的改进方法是引入Nesterov 加速梯度，称为Nadam算法。

梯度截断

当梯度的模大于一定阈值时，就对梯度进行截断，称为梯度截断。为了把梯度的模限定在一个区间。

按值截断：大于或小于边界值，就设为边界值。

按模截断：是将梯度的模截断到一个给定的截断阈值b。如果∥g_t∥² ≤ b，保持g_t 不变。如果∥g_t∥² > b，令

$\begin{aligned} g_t=\frac{b}{||g_t||}g_t \end{aligned}$

优化算法小结

几种优化方法大体上可以分为两类：一是调整学习率，使得优化更稳定；二是梯度估计修正，优化训练速度。

这些优化算法可以使用下面公式来统一描述概括：
$\begin{aligned} \Delta \theta_{t} &=-\frac{\alpha_{t}}{\sqrt{G_{t}+ \epsilon}} M_{t} \\ G_{t} &=\psi\left(\boldsymbol{g}_{1}, \cdots, \boldsymbol{g}_{t}\right) \\ M_{t} &=\phi\left(\boldsymbol{g}_{1}, \cdots, \boldsymbol{g}_{t}\right) \\ 其中g_t 是第t 步的梯度；\alpha _t 是第t &步的学习率，可以进行衰减，也可以不变；\\ψ(·) 是学习率缩放函数，可以取1& 或历史梯度的模的移动平均；\\ϕ(·) 是优化后的参数更新方向，可&以取当前的梯度g_t 或历史梯度的移动平均。\end{aligned}$

神经网络常用优化方法的汇总

参数初始化

在感知器和logistic 回归的训练中，参数可以全部初始化为0。

但在神经网络的训练中不可以。因为如果参数都为0，在第一遍前向计算时，所有的隐层神经元的激活值都相同。这样会导致深层神经元没有区分性。这种现象也称为对称权重现象。为了打破这个平衡，比较好的方式是对每个参数都随机初始化。同时，为了高效地训练神经网络，给参数选取一个合适的随机初始化区间是非常重要的。

经常使用的初始化方法有两种：高斯分布初始化、均匀分布初始化。

Xavier 初始化

当网络使用Logistic 激活函数时，Xavier 初始化可以根据每层的神经元数量来自动计算初始化参数的方差。

假设第l 层神经元的激活函数为Logistic 函数，对于第l − 1 到l 层的权重参数区间r 可以设置为：

$r=\sqrt{\frac{6}{n^{l-1}+n^l}}，这里n^l是是第l 层神经元个数，n^{l−1} 是第l − 1 层神经元个数。$

对于Tanh 函数，r 可以设置为： $r=4\sqrt{\frac{6}{n^{l-1}+n^l}}$

假设第l 层的一个隐藏层神经元z^l，其接收前一层的n^l−1 个神经元的输出a_i^(l-1)，1 ≤ i ≤ n^(l-1)，则： $z^l=\sum_{i=1}^{n^{l-1}}w_i^la_i^{l-1}$ ，为了避免初始化参数使得激活值变得饱和，就需要让z^l处于激活函数的线性区间，也就是其绝对值比较小。这时该神经元的激活值 $a^l=f(z^l)\approx z^l$ 。

假设 $w_i^l和a_i^{(l-1)}$ 的均值都为0，并且相互独立，则 $a^l$ 的均值为：

$\begin{align*} \mathbb{E}\left[a^{l}\right]\approx \mathbb{E}[z^l]=\mathbb{E}\left[\sum_{i=1}^{n^{(l-1)}} w_{i}^{l} a_{i}^{(l-1)}\right]=\sum_{i=1}^{n^{(l-1)}} \mathbb{E}\left[\boldsymbol{w}_{i}\right] \mathbb{E}\left[a_{i}^{(l-1)}\right]=0 \end{align*}$

$a^l$ 的方差为： $var[a^l]=var\left[\sum_{i=1}^{n^{(l-1)}} w_{i}^{l} a_{i}^{(l-1)}\right]=\sum_{i=1}^{n^{(l-1)}} var\left[\boldsymbol{w}_{i}^l\right] var\left[a_{i}^{(l-1)}\right]=n^{(l-1)}var\left[\boldsymbol{w}_{i}^l\right] var\left[a_{i}^{(l-1)}\right]$
也就是说，输入信号的方差在经过该神经元后被放大或缩小了 $n^{l-1}var\left[\boldsymbol{w}_{i}^l\right]$ 倍。为了使得在经过多层网络后，信号不被过分放大或过分减弱，需要尽可能保持每个神经元的输入和输出的方差一致。也就是让倍数=1。即： $var[w^l_i]=\frac{1}{n^{(l-1)}}$ ，同理，为了使得在反向传播中，误差信号也不被放大或缩小，也需要让 $w^l_i$ 的方差保持为 $var[w^l_i]=\frac{1}{n^{(l)}}$ ，作为折中，同时考虑信号在前向和反向传播中都不被放大或缩小，可以设置 $var[w^l_i]=\frac{2}{n^{(l)+n^{(l-1)}}}$ 。

在计算出参数的理想方差后，可以通过高斯分布或均匀分布来随机初始化参数。

高斯分布初始化：连接权重 $w^l_i$ 可以按 $\mathcal{N}(0, \sqrt{\left.\frac{2}{n^{(l-1)}+n^{(l)}}\right)}$ 的高斯分布进行初始化。

均匀分布初始化：方差计算公式为： $var[x]=\frac{(b-a)^2}{12}$ ，若采用区间为 $[-r,r]$ 的均匀分布来初始化 $w^l_i$ ，并满足 $var[w^l_i]=\frac{2}{n^{(l)+n^{(l-1)}}}$ ，则 $r=\sqrt{\frac{6}{n^{l-1}+n^l}}$ 。

He 初始化

相当于Xavier 初始化中只考虑前向传播的情况。

数据预处理

对于基于相似度比较的机器学习方法，必须先对样本进行预处理，将各个维度的特征归一化到同
一个取值区间，并且消除不同特征之间的相关性，才能获得比较理想的结果。

数据归一化对梯度的影响

以下是几种在神经网络中经常使用的归一化方法。

缩放归一化：是一种非常简单的归一化方法，通过缩放将每一个特征
的取值范围归一到[0, 1] 或[−1, 1] 之间。假设有N 个样本 ${\{x^{(n)}}\}^N_{n=1}$ ，对于每一维特征x， $\hat{x}^{(n)}=\frac{x^{(n)}-\min _{n}\left(x^{(n)}\right)}{\max _{n}\left(x^{(n)}\right)-\min _{n}\left(x^{(n)}\right)}$ ，其中min(x) 和max(x) 分别是特征x 在所有样本上的最小值和最大值。

标准归一化：也叫z-score 归一化，来源于统计上的标准分数。将每一个维特征都调整为均值为0，方差为1。假设有N 个样本 ${\{x^{(n)}}\}^N_{n=1}$ ，对于每一维特征x，我们先计算它的均值和方差，然后，将特征x(n) 减去均值，并除以标准差，得到新的特征值 $\hat{x}^{(n)}=\frac{x^{(n)}-\mu}{\sigma}$ 。这里σ 不能为0。如果方差为0，说明这一维特征没有任务区分性，可以直接删掉。

白化：是一种重要的预处理方法，用来降低输入数据特征之间的冗余性。输入数据经过白化处理后，特征之间相关性较低，并且所有特征具有相同的方差。白化的一个主要实现方式是使用主成分分析。

标准归一化和PCA白化

逐层归一化

浅层发生的小偏移，会导致深层发生大的偏移（蝴蝶效应）。

从机器学习角度来看，如果某个神经层的输入分布发生了改变，那么其参数需要重新学习，这种现象叫做内部协变量偏移。

协变量是一个统计学概念，是可能影响预测结果的统计变量。在机器学习中，协变量可以看作是输入。一般的机器学习算法都要求输入在训练集和测试集上的分布是相似的。如果不满足这个假设，在训练集上学习到的模型在测试集上的表现会比较差。

为了解决内部协变量偏移问题，就要使得每一个神经层的输入的分布在训练过程中保持一致。最简单直接的方法就是对每一个神经层都进行归一化操作，使其分布保存稳定。

批量归一化（BN）

BN方法是一种有效的逐层归一化方法，可以对神经网络中任意的中间层进行归一化操作。

对于一个深度神经网络，令第l 层的净输入为z^(l)，神经元的输出为a^(l)，即：

$a^{(l)}=f(z^{(l)})=f(Wa^{(l-1)}+b)$ 。

为了减少内部协变量偏移问题，就要使得净输入z^(l) 的分布一致，比如都归一化到标准正态分布。虽然归一化操作可以应用在输入a^(l−1) 上，但其分布性质不如z^(l) 稳定。因此，在实践中归一化操作一般应用仿射变换之后，激活函数之前。

为了提高归一化效率，一般使用标准归一化，将净输入z^(l) 的每一维都归一到标准正态分布。

$\hat{z}^{(l)}=\frac{z^{(l)}-\mathbb{E}[z^{(l)}]}{\sqrt{var(z^{(l)})+\epsilon}}$

因为目前主要的训练方法是基于小批量的随机梯度下降法，所以准确地计算z^(l) 的期望和方差是不可行的。因此，z^(l) 的期望和方差通常用当前小批量样本集的均值和方差近似估计。

给定一个包含K 个样本的小批量样本集合，第l 层神经元的净输入 $z^{(1,l)},\cdots, z^{(K,l)}$ 的均值和方差为：
$\begin{aligned} \mu_{\mathcal{B}} &=\frac{1}{K} \sum_{k=1}^{K} z^{(k, l)} \\ \sigma_{\mathcal{B}}^{2} &=\frac{1}{K} \sum_{k=1}^{K}\left(z^{(k, l)}-\mu_{\mathcal{B}}\right) \odot\left(z^{(k, l)}-\mu_{\mathcal{B}}\right) \end{aligned}$
对净输入z^(l) 的标准归一化会使得其取值集中到0 附近，如果使用sigmoid型激活函数时，这个取值区间刚好是接近线性变换的区间，减弱了神经网络的非线性性质。因此，为了使得归一化不对网络的表示能力造成负面影响，可以通过一个附加的缩放和平移变换改变取值区间。
$\begin{aligned} \hat{z}^{(l)} &=\frac{z^{(l)}-\mu_{\mathcal{B}}}{\sqrt{\sigma_{\mathcal{B}}^{2}+\epsilon}} \odot \gamma+\beta \\ & \triangleq \operatorname{BN}_{\gamma, \beta}\left(z^{(l)}\right) \end{aligned}$
其中γ 和β 分别代表缩放和平移的参数向量。从最保守的角度考虑，可以通过标准归一化的逆变换来使得归一化后的变量可以被还原为原来的值。当 $\gamma=\sqrt{\sigma_{\mathcal{B}}^{2}},\beta=\mu_\mathcal{\beta}时，\hat{z}^{(l)}=z^{(l)}$ 。

加入归一化操作后： $a^{(l)}=f(BN_{\gamma,\beta}(z^{(l)}))=f(BN_{\gamma,\beta}(Wa^{(l-1)}))$

其中因为批量归一化本身具有平移变换，所以仿射变换 $Wa^{(l-1)}$ 不再需要偏置参数。

层归一化

批量归一化是对一个中间层的单个神经元进行归一化操作，因此要求小批量样本的数量不能太小，否则难以计算单个神经元的统计信息。此外，如果一个神经元的净输入的分布在神经网络中是动态变化的，比如循环神经网络，那么就无法应用批量归一化操作

层归一化是和批量归一化非常类似的方法。和批量归一化不同的是，层归一化是对一个中间层的所有神经元进行归一化。

对于一个深度神经网络，令第l 层神经元的净输入为z^(l)，其均值和方差为：
$\begin{align*} &\mu^{(l)}=\frac{1}{n^l}\sum^{n^l}_{i=1}z^{(l)}_i,\\ &\sigma^{(l)^2}=\frac{1}{n^l}\sum^{n^l}_{i=1}(z^{(l)}_i-\mu^{(l)})^2,\\ &其中n^l为第l层神经元的数量\\ 层归一化定义为：\hat{z}^{(l)} &=\frac{z^{(l)}-\mu^{(l)}}{\sqrt{\sigma^{(l)^2}+\epsilon}} \odot \gamma+\beta \triangleq \operatorname{LN}_{\gamma, \beta}\left(z^{(l)}\right)\\ 其中\gamma和\beta分别代表&缩放和平移的参数向量，和z^{(l)}维数相同。 \end{align*}$
循环神经网络中的层归一化：

$h_t=f(LN_{\gamma,\beta}(z_t))=f(LN_{\gamma,\beta}(Uh_{t-1}+Wx_t))$

层归一化的循环神经网络，可以有效地缓解循环神经网络的梯度爆炸或消失。

其它归一化方法

权重归一化

是对神经网络的连接权重进行归一化，通过再参数化方法，将连接权重分解为长度和方向两种参数。假设第l 层神经元 $a^{(l)} = f(Wa^{(l−1)} + b)$ ，我们将W再参数化为： $W_{i,:}=\frac{g_i}{||v_i||}v_i,1\leq i\leq n^l$ ，其中 $W_{i,: }$ 表示权重W 的第i 行， $n^l$ 为神经元数量。新引入的参数 $g_i$ 为标量， $v_i$ 和 $a^{(l−1)}$ 维数相同。

由于在神经网络中权重经常是共享的，权重数量往往比神经元数量要少，因此权重归一化的开销会比较小。

局部响应归一化

是一种受生物学启发的归一化方法，通常用在基于卷积的图像处理上。

超参数优化

常见的超参数有以下三类：

网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型等。

优化参数，包括优化方法、学习率、小批量的样本数量等。

正则化系数。

超参数优化主要存在两方面的困难。（1）超参数优化是一个组合优化问题，无法像一般参数那样通过梯度下降方法来优化，也没有一种通用有效的优化方法。（2）评估一组超参数配置的时间代价非常高，从而导致一些优化方法（比如演化算法）在超参数优化中难以应用。

对于超参数的配置，比较简单的方法有网格搜索、随机搜索、贝叶斯优化、动态资源分配和神经架构搜索。

网格搜索

通过尝试所有超参数的组合来寻址合适一组超参数配置。对于连续的超参数，需要根据超参数自身的特点进行离散化。

随机搜索

是针对不同超参数对模型性能的影响差异性，对网格搜索的改进。随机搜索在实践中更容易实现，一般会比网格搜索更加有效。

网格搜索和随机搜索都没有利用不同超参数组合之间的相关性，即如果模型的超参数组合比较类似，其模型性能也是比较接近的。因此这两种搜索方式一般都比较低效，都不是自适应的。

贝叶斯优化

是一种自适应的超参数优化方法，根据当前已经试验的超参数组合，来预测下一个可能带来最大收益的组合。

时序模型优化：一种比较常用的贝叶斯优化方法。

贝叶斯优化过程是根据已有的N 组试验结果 $\mathcal{H}=\{x_n,y_n\}^N_{n=1}(y_n为f(x_n)的观测值)$ 来建模高斯过程，并计算f(x)的后验分布 $p_{\mathcal{G} \mathcal{P}}(f(\boldsymbol{x}) | \boldsymbol{x}, \mathcal{H})$ 。

为了使后验分布尽可能接近真实分布，就需要对样本空间进行足够多的采样，但是超参数优化中每一个样本的生成成本很高，需要用尽可能少的样本达到更好的效果，这可以通过定义一个收益函数 $a(x,\mathcal{H})$ 来判断一个样本是否能够给建模 $p_{\mathcal{G} \mathcal{P}}(f(\boldsymbol{x}) | \boldsymbol{x}, \mathcal{H})$ 提供更多的收益。收益越大，其修正的高斯过程会越接近目标函数的真实分布。

收益函数的定义有很多种方式。一个常用的是期望改善函数：假设 $y^*=min\{y_n,1\leq n \leq N\}$ 是当前已有样本中的最优值，期望改善函数为： $\bold{EI}(x,\mathcal{H})=\int_{ - \infty }^{+\infty}max(y^*-y,0)p_{\mathcal{G} \mathcal{P}}(f(\boldsymbol{x}) | \boldsymbol{x}, \mathcal{H})dy$

除了期望改善函数之外，收益函数还有其它定义形式，比如改善概率、高斯过程置信上界等。

动态资源分配

动态资源分配的一种有效方法是逐次减半方法，将超参数优化看作是一种非随机的最优臂问题（，即在给定有限的机会次数下，如何玩这些赌博机并找到收益最大的臂）。假设要尝试N 组
超参数配置，总共可利用的资源预算（摇臂的次数）为B，我们可以通过 $T=\lceil [图片上传中...(image-20191216160952922.png-f4a199-1576496584153-0)] log_{2}(N)\rceil-1$ 轮逐次减半的方法来选取最优的配置。其中，尝试的超参数配置数量N 十分关键。

神经架构搜索

是一个新的比较有前景的研究方向，通过神经网络来自动实现网络架构的设计。一个神经网络的架构可以用一个变长的字符串来描述。利用元学习的思想，神经架构搜索利用一个控制器来生成另一个子网络的架构描述。控制器可以由一个循环神经网络来实现。控制器的训练可以通过强化学习来完成，其奖励信号为生成的子网络在开发集上的准确率。

网络正则化

正则化是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法，比如引入约束、增加先验、提前停止等。

在深度学习中，仅仅用ℓ1 和ℓ2 正则化是不够的，还会用到其他的正则化方法，比如数据增强、提前停止、丢弃法、集成法等。

ℓ1 和ℓ2 正则化

优化问题可以写为： $\theta^{*}=\underset{\theta}{\arg \min } \frac{1}{N} \sum_{n=1}^{N} \mathcal{L}\left(y^{(n)}, f\left(\boldsymbol{x}^{(n)} ; \theta\right)\right)+\lambda \ell_{p}(\theta)$

不同范数约束条件下的最优化问题示例

从上图可以看出，ℓ1 范数的约束通常会使得最优解位于坐标轴上，从而使得最终的参数为稀疏性向量。此外，ℓ1 范数在零点不可导，因此经常用 $\ell_{1}(\theta)=\sum_{i} \sqrt{\theta_{i}^{2}+\epsilon}$ 来近似。

一种折中的正则化方法是弹性网络正则化：同时加入ℓ1 和ℓ2 正则化：

$\theta^{*}=\underset{\theta}{\arg \min } \frac{1}{N} \sum_{n=1}^{N} \mathcal{L}\left(y^{(n)}, f\left(\boldsymbol{x}^{(n)} ; \theta\right)\right)+\lambda_1 \ell_{1}(\theta)+\lambda_2 \ell_{2}(\theta)$

权重衰减

权重衰减也是一种有效的正则化方法，在每次参数更新时，引入一个衰减系数： $\theta_t\leftarrow (1-w)\theta_{t-1}-\alpha\mathbf{g}_t$ 。

提前停止

当验证集上的错误率不再下降，就停止迭代。

丢弃法

当训练一个深度神经网络时，可以随机丢弃一部分神经元（同时丢弃其对应的连接边）来避免过拟合。每次选择丢弃的神经元是随机的。最简单的方法是设置一个固定的概率p。对每一个神经元都以概率p 来判定要不要保留。

对于一个神经层，我们可以引入一个丢弃函数mask(·)，使得 $y = f(Wd(x) + b)$ 。丢弃函数d(·) 的定义为：
$\begin{equation*} \operatorname{mask}(\boldsymbol{x})=\left \{\begin{array}{l}{\boldsymbol{m} \odot \boldsymbol{x}}\quad\qquad当训练阶段时\\ {p \boldsymbol{x}}\qquad\qquad\quad 当测试阶段时\end{array} \right.\\ \qquad 其中，m\in \{0,1\}^d是丢弃掩码,以概率为p的伯努利分布随机生成。d为输入x的维度。 \end{equation*}$
丢弃法一般是针对神经元进行随机丢弃，但是也可以扩展到对神经元之间的连接进行随机丢弃，或每一层进行随机丢弃。

丢弃法示例

集成学习的解释：每做一次丢弃，相当于从原始的网络中采样得到一个子网络。如果一个神经网络有n个神经元，那么总共可以采样出2ⁿ 个子网络。每次迭代都相当于训练一个不同的子网络，这些子网络都共享原始网络的参数。那么，最终的网络可以近似看作是集成了指数级个不同网络的组合模型。

贝叶斯学习的解释：丢弃法也可以解释为一种贝叶斯学习的近似。用y = f(x; θ) 来表示要学习的神经网络，贝叶斯学习是假设参数θ 为随机向量，并且先验分布为q(θ)，贝叶斯方法的预测为：
$\begin{aligned} \mathbb{E}_{q(\theta)}[y] &=\int_{q} f(x ; \theta) q(\theta) d \theta \\ & \approx \frac{1}{M} \sum_{m=1}^{M} f\left(x, \theta_{m}\right) \end{aligned}$
其中 $f(x, \theta_m)$ 为第m次应用丢弃方法后的网络，其参数θ_m 为对全部参数θ 的一次采样。

循环神经网络上的丢弃法

一种简单的方法是对非时间维度的连接（即非循环连接）进行随机丢失，如图所示，虚线边表示进行随机丢弃，不同的颜色表示不同的丢弃掩码。

针对非循环连接的丢弃法

对循环神经网络上使用丢弃法时，需要对参数矩阵的每个元素进行随机丢弃，并在所有时刻都使用相同的丢弃掩码。这种方法称为变分丢弃法。

变分丢弃法，相同颜色表示使用相同的丢弃掩码

数据增强

通过数据增强来增加数据量，提高模型鲁棒性，避免过拟合。目前，数据增强还主要应用在图像数据上，在文本等其它类型的数据上还没有太好的方法。

标签平滑

可以给样本的标签引入一定的噪声来避免过拟合。

一个样本x的标签一般用onehot 向量表示： $y = [0, \cdots, 0, 1, 0, \cdots, 0]$ ，这种标签可以看作是硬目标。

如果使用softmax 分类器并使用交叉熵损失函数，最小化损失函数会使得正确类和其它类的权重差异变得很大。根据softmax 函数的性质可知，如果要使得某一类的输出概率接近于1，其未归一化的得分需要远大于其它类的得分，可能会导致其权重越来越大，并导致过拟合。此外，如果样本标签是错误的，会导致更严重的过拟合现象。为了改善这种情况，我们可以引入一个噪声对标签进行平滑，即假设样本以ϵ 的概率为其它类。平滑后的标签为： $\tilde{y}=[\frac{\epsilon}{K-1},\cdots,\frac{\epsilon}{K-1},1-\epsilon,\frac{\epsilon}{K-1},\cdots,\frac{\epsilon}{K-1}]^T$ ，其中K 为标签数量，这种标签可以看作是软目标。

标签平滑可以避免模型的输出过拟合到硬目标上，并且通常不会损害其分类能力。

上面这种做法没有考虑标签之间的相关性。一种更好的做法是按照类别相关性来赋予其它标签不同的概
率。比如先训练另外一个更复杂（一般为多个网络的集成）的教师网络，并使用大网络的输出作为软目标来训练学生网络。这种方法也称为知识精炼

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 206,723评论 6赞 481
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 88,485评论 2赞 382
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 152,998评论 0赞 344
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 55,323评论 1赞 279
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 64,355评论 5赞 374
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,079评论 1赞 285
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,389评论 3赞 400
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,019评论 0赞 259
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 43,519评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,971评论 2赞 325
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,100评论 1赞 333
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,738评论 4赞 324
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,293评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,289评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,517评论 1赞 262
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,547评论 2赞 354
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,834评论 2赞 345

《神经网络与机器学习》笔记（五）

第七章 网络优化与正则化

网络优化

网络优化的难点

网络结构多样性

高维变量的非凸优化

优化算法

小批量梯度下降

批量大小选择

学习率调整

学习率衰减

学习率预热

周期性学习率调整

AdaGrad 算法

RMSprop算法

AdaDelta 算法

梯度估计修正

动量法

Nesterov 加速梯度

Adam算法

梯度截断

优化算法小结

参数初始化

Xavier 初始化

He 初始化

数据预处理

逐层归一化

批量归一化（BN）

层归一化

其它归一化方法

权重归一化

局部响应归一化

超参数优化

网格搜索

随机搜索

贝叶斯优化

动态资源分配

神经架构搜索

网络正则化

ℓ1 和ℓ2 正则化

权重衰减

提前停止

丢弃法

循环神经网络上的丢弃法

数据增强

标签平滑

推荐阅读更多精彩内容

第七章网络优化与正则化