参考资料:
CS231n 课件6
-
sigmoid的缺点
1、sigmoid在中心点之外的区域变化不大,很多节点很难进行调整,因为调整了在当前节点变化很小,到最终也是变化很小。
2、输出都为正,那么下一层对W求导,也就是上一层的sigmoid输出都是正的,
数据预处理的时候也要进行预处理
3、exp计算代价比较大
-
tanh
-
Relu
-
Leaky ReLU
-
ELU
要有一段变化不那么大的,以增加系统的鲁棒性,但不能是dead。
-
Maxout “Neuron”
-
实际操作