(1)增大batch size
这在gpu/cpu 存储容量有限的情况下可以增大iter_size实现
(2)人工检测learning rate policy
when error plateau, /=10
(3)Initialization
for ReLU
每一层应该服从正太分布（0,2/nl）nl=k * k * c
Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification
(4)Gradient Descend method
Now SGD
(5)Data Pre-Processing
PCA 、Whiting
Subtract the mean image (e.g. AlexNet)(mean image = [32,32,3] array)
Subtract per-channel mean (e.g. VGGNet)(mean along each channel = 3 numbers)
（6）BN
already Batch Normal
How to make a Neural Network converg(as fast as possible)
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
