Batch Normalization 是近两年兴起的深度学习中的一种处理技巧。使用BN可以使模型收敛更快，加速训练。同时降低了网络对于参数的敏感程度，减少了梯度消失的情况发生。
关于BN的学习主要来源于论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》

概述

当前神经网络的训练有一个问题，就是训练过程很慢，需要花费大量的时间收敛。这个现象通常由两个原因造成，一个是因为初始的learning rate比较低，另一个是网络对于参数的初始化非常敏感。
论文中作者引入了一个BN层，对于每一个mini-batch，将其放入BN层后再进入激活函数。实验证明，这个BN层可以加速模型训练，同时训练效果非常好。

Internal Covariate Shift

在机器学习理论中，存在一个独立同分布的假设。假设训练数据与测试数据是满足相同分布的。但是在实际中，可能会出现两者并不服从完全相同的分布。这种现象就是covariate shift。Internal Covariate shift 可以理解为神经网络中隐层中存在的分布不相同情况。
这种现象会导致不少问题。
一，因为每层的分布都不同，所以每层的参数需要适应新的输入分布，会造成训练速度下降。
二，输入的变化可能会趋于变大或者变小，从而使输入落入激活函数的饱和区，使得学习停止。
在深度学习模型中，
BN的作用就是通过BN处理之后的隐层的输入，能够服从相同的分布。从而降低了模型的 internal covariate shift。

Batch Normalization

BN的处理思路是 对于每一个进入激活函数的输入，在其进入激活函数前，先进行BN处理。算法如下图所示。对于每一个作为输入的mini-batch，分别计算其均值与方差。normalize之后，再通过两个参数进行调整。

为什么有效？

对于BN为什么有效这里，主要的理解来自于《详解深度学习中的 Normalization，不只是 BN》这篇文章。

1 权重伸缩不变性

对于权重W进行伸缩变换时，均值和方差会等比例缩放。

其中
推导过程如下:

2 数据伸缩不变性

数据伸缩不变性是针对x而言，

所以数据伸缩变化不会影响该层的权重参数更新。
对于某一层的神经元而言，其输入都是标准分布。与传统情况相比，减少了梯度弥散和梯度爆炸的情况,简化了对学习率的选择。

代码分析

这里构建了两个神经神经网络,唯一的区别就是一个进行了BN操作而另外一个没有。

#BN for the first layer input
        if self.norm:
            fc_mean,fc_var = tf.nn.moments(self.xs,axes=[0])
            scale = tf.Variable(tf.ones([1]))
            shift = tf.Variable(tf.zeros([1]))
            epsilon = 0.001
            self.xs = tf.nn.batch_normalization(self.xs,fc_mean,fc_var,shift,scale,epsilon)

接下来是对整个隐层中的处理

    def add_layer(self,inputs,in_size,out_size,activation_function=None,norm = False):
        # add layer
        Weights =  tf.Variable(tf.random_normal([in_size,out_size],mean = 0 ,stddev =1))
        biases = tf.Variable(tf.zeros([1,out_size])+0.1)
        Wx_plus_b = tf.matmul(inputs,Weights) + biases
        if norm:
            #compute mean,variance according to the axes
            fc_mean,fc_var = tf.nn.moments(
                Wx_plus_b,
                axes=[0],
            )
            scale = tf.Variable(tf.ones([out_size]))
            shift = tf.Variable(tf.zeros([out_size]))
            epsilon = 0.001 # a smooth value, avoid the value of denominator is zero
            Wx_plus_b =  tf.nn.batch_normalization(Wx_plus_b,fc_mean,fc_var,shift,scale,epsilon)

接下来将两个网络模型的作用进行了可视化处理。

分析上图，初始输入的分布服从均匀分布，可以看出在接收输入时，无BN的模型的输入刚好满足这个分布，但是有BN的模型已经将均匀分布的数据做了标准化处理。可以看出在没有BN的情况下，数据很快就到了激活函数（sigmoid）的饱和区域。但是经过BN处理后，数据中很大一部分处在里激活函数的非饱和区域。
很明显，经过BN处理后的网络收敛的更快。下图显示了两者的loss的变化。

参考文献

[1]《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》
[2]《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记与实现
[3]Batch Normalization 批标准化
[4]Batch Normalization导读
[5]深度学习中的Normalization模型
[6]详解深度学习中的Normalization，BN/LN/WN