FRN - 简书

一、BN

我们知道，在训练深度网络的时候，在刚开始初始化的阶段，参数可以保持很好的分布。但是，随着训练的进行，这种分布逐渐改变，往往出现分布的剧烈变化而难以学习，具体体现在非线性化（即激活函数）的时候梯度消失。
而BN层的作用，即是将数据进行非线性化之前，对其做一个标准化，让数据分布重新变得易于学习，让网络可以稳定收敛，这个过程也具有一定的正则化效果。
但是，我们知道，在BN层进行归一化的时候，是对BxHxW的数据进行操作，可以看出这个过程是依赖于batch的：一方面体现在对batch中的数据选择有要求（如果两个batch中的数据差别较大，那么参数就需要较大幅度的调整）；另一方面体现在对batch大小的要求，我们知道，小的batch会让BN层的效果大打折扣，即是因为归一化的数据量不够，容易出现统计噪声。

二、GN

为了解决BN层对于batch大小的敏感问题，提出了GN的方法。具体的方法见下图。

可以看到，GN首先对channel进行分组，数据维度由原来的[B, H, W, C]变成了[B, H, W, G, C//G]，而标准化在HxWxG上进行，其中G为分的组数。我们看到，标准化的时候没有依赖于B，因此可以解决对batch大小敏感的问题。
但是，我们可以看到，GN也带来了其他的问题：（1）引入了超参数G（作者建议G为32），对于G的选择是一个问题。（2）channel的个数必须为G的整数倍，按照作者的建议G为32的话，如果需要使用GN的方法，那么channel的数量要为32的倍数。（3）对channel进行分组之后，相当于对每一组的channel作了一个相关性的绑定，也即是说，相邻的channel学习的是同一个或者相似的特征。这样会不会对卷积的效果产生影响也是一个值得考虑的问题。

三、FRN Layer

谷歌提出的新的归一化方案，号称效果超过BN和GN。具体的结构如下图。

可以看到FRN Layer分为两个步骤完成：FRN和TLU。先看FRN，FRN是在HxW上进行归一化，也不会依赖于batch。而且归一化的方法与之前的方法都有不同。从公式上来看，FRN不进行中心化，而是直接除以 $\sqrt {v^2+\epsilon}$ 来消除尺度的影响，而且作为除数的分母也和其他方法有所不同，这里的方法是除以二范数的均值而不是标准差。当然，对所得的结果还需要加上仿射变换： $y = \gamma * \hat x + \beta$ 。
TLU：因为FRN没有进行中心化，所以产生的结果会在0附近随机偏移，而如果接着进行Relu，那么会造成很多节点失活。这里对Relu进行改进，变为： $Z = max(y, \tau)=(y-\tau)+\tau$ ，称为TLU。这样就可以解决了数据的偏移问题。

四、细节讨论

FRN的思路很简单，接下来我们来看一下其中的细节以及作者为什么要采用这种结构。
1、 $\hat x= {x\over \sqrt{v^2 + \epsilon}}$
关于 $\epsilon$ ：（1）当N = H x W = 1时（即：average global层和全连接层）需要把 $\epsilon$ 设置成可学习的，而且初始化为 $10^{-4}$ 。（2）一般情况下， $\epsilon=10^{-6}$ 为一个常量。
2、从图1中可以看出，LRN Layer和Instance Norm都是在H x W上进行归一化，唯一的区别就是归一化的方法。
IN的方法： $\mu= {\sum_i x_i \over N}$ ，
$\sigma^2 = \sum_i {(x_i - \mu)^2 \over N}$ ，
$\hat x = {x - \mu \over \sqrt{\sigma^2 + \epsilon}}$
对于这种方法，当进行多次下采样导致特征图变的很小，甚至变为1时（average pooling和fully-connected layers）， $\hat x$ 很容易变为0，从而失活。
GN的方法通过合并相邻的channel来解决这一问题。但是，在实际的网络中，我们知道有些卷积核只对个别的channel起作用，而这种做法会让不同的channel之间互相联动，这样是不合理的。
所以，本文的做法是干脆去掉中心化，但是这就会造成新的问题，即前面说的偏移问题，需要加入TLU来解决。
3、调参和训练
看下面的两幅图，对比FRN和BN的数据分布情况，从图中可以看出，虽然总体的方差相差不大，但是BN的数据均匀分布在一定的范围之内，整体变化要比FRN平缓的多，而FRN在个别数据和区域中剧烈变化明显。

variance in BN(某一层的所有channel)

分析一下造成这种现象的原因：
（１）BN做归一化的时候用到的数据更多，所以数据变化更平稳。
（２）中心化会让数据均匀分布在中心两侧（也即是起到平滑的作用），这样会让BN的数据看起来平稳很多。
由于FRN的数据变化剧烈，所以对调参要求较高。而作者在论文中提到，在训练的过程中需要使用warm-up的方法，作者使用cosine的策略让lr从0增加到最大。同样的，对于lr的衰减，也使用cosine的策略。

注：FRN和BN的数据分布对比图来自：https://zhuanlan.zhihu.com/p/94947457