两条语句有固定的使用场景。
在训练模型时会在前面加上:
model.train()
在测试模型时在前面使用:
model.eval()
同时发现,如果不使用这两条语句,程序也可以运行。这两个方法是针对在网络train和eval时采用不同方式的情况,比如Batch Normalization和Dropout。
下面对这Batch Normalization和Dropout做一下详细的解析:
Batch Normalization
BN的作用主要是对网络中间的每层进行归一化处理,并且使用变换重构(Batch Normalization Transform)保证每层所提取的特征分布不会被破坏。
训练时是针对每个mini-batch的,但是在测试中往往是针对单张图片,即不存在mini-batch的概念。由于网络训练完毕后参数都是固定的,因此每个batch的均值和方差都是不变的,因此直接结算所有batch的均值和方差。所有Batch Normalization的训练和测试时的操作不同。
Dropout
Dropout能够克服Overfitting,在每个训练Batch中,通过忽略一半的特征检测器,可以明显的减少过拟合现象。
在训练中,每个隐层的神经元先乘以概率P,然后再进行激活。
在测试中,所有的神经元先进行激活,然后每个隐层神经元的输出乘P。
Reference: