batch normalization的重要性

参考文献:

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
Fast.ai: lesson 5
Deeplearning.ai: Why Does Batch Norm Work? (C2W3L06)

一、为什么要用batch normalization

我们已经可以对输入层进行normalize，通过adjusting and scaling activation。举个例子，有一些特征是0到1，有一些是从1到1000，我们应该normalize他们以加速学习。如果输入层受益于normalize，我们也可以把normalize用于隐藏层，这样我们能得到10倍以上的训练加速。

优点一：
batch normalization减小了hidden unit values的covariance shift。covariance shift是什么？我们用一个用于检测猫的深度网络来辅助解释。我们在黑猫图片数据集上训练网络。但是如果我们想将这个网络测试于彩色的猫，结果可能不会很好。训练集和测试集都是猫的图片但是存在区别。

换句话说，如果一个算法学到了某个从X到Y的映射，然后如果X的分布改变了，那么我们需要重新训练学习算法，将X的分布与Y的分布对齐。

优点二：
batch normalization允许网络每一层的自我学习稍稍更独立于其它层。

[图片上传失败...(image-412a18-1597304737305)])
](https://upload-images.jianshu.io/upload_images/13133110-b59291a50fc7b8f4.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

我们能使用更高的学习率，因为batch normalization确保了不会有很高或者很低的激活值（activation）。通过batch normalization，曾经不能被train的things现在可以被train了。
batch normalization减少了过拟合，因为它有轻微的regularization effects。（regularization effects：在模型中加入正则项以防止过拟合）因此，如果我们使用batch normalization，我们可以用到less dropout。less dropout是件好事，因为我们不会丢失很多信息了。然而，我们不该只依赖于batch normalization for regularization。我们应该把它和dropout一起使用。

二、batch normalization 的原理

为了增加神经网络的稳定性stability，batch normalization通过” subtracting（减去） the batch mean and dividing（除以）by the batch standard deviation.“来normalize上一个激活层的输出。

然而，在对激活层的输出进行了这样的shift/scale之后，下一层的权重就不再是最优的了。 SGD ( Stochastic gradient descent) undoes this normalization if it’s a way for it to minimize the loss function.

最终，batch normalization给每一层增加了两个可训练的参数。因此，归一化的输出将会乘以一个标准差（gamma）并加上一个平均值（beta）。也就是说，batch normalization能让SGD算法通过只改变每个激活层的这两个权重（gamma，beta）去做denormalization，instead of改变所有的权重（这样会丧失网络的稳定性）

image.png

Batch normalization和预训练网络比如VGG

VGG网络中并没有一个batch norm layer，因为在VGG网络发明之前，batch normalization还不存在。如果我们从头开始训练VGG16的网络，预训练的权重will benefit from the normalization of the activations。因此，加batch norm layer会improve ImageNet。我们可以把batch norm layer加在dense layers后和卷积层后。

如果我们把a batch norm插入预训练的网络，这回改变预训练的权重，因为batch norm对每一个激活层都减掉了均值并除以标准差。我们希望预训练权重不变。因此，我们需要做的是
找到gamma和beta以undo the outputs change。

To summarize everything, you can think about batch normalization as doing preprocessing at every layer of the network.