作者:HaigLee
https://www.jianshu.com/u/67ec21fb270d
本文由 HaigLee 发布。未经许可,禁止转载
神经网络中,运算特征是不断进行循环计算,所以在每代循环过程中,每个神经元的值也在不断变化。这就导致了Tanh函数在特征相差明显的时候效果会很好,在循环过程中,其会不断扩大特征效果并显示出来。
但是有时当计算的特征间的相差虽比较复杂但是却没有明显区别,或者是特征的相差不是特别大时,就需要更细微的分类判断,这时sigmoid函数的效果就会更好一些。
后来出现的ReLU 激活函数的优势是,经过其处理后数据有更好的稀疏性。即,将数据转化为只有最大值,其他都为0。这种变换可以近似程度地最大保留数据特征,用大多数元素为0的稀疏矩阵来实现。
实际上,神经网络在不断反复计算中,就变成了ReLU 函数在不断尝试如何用一个大多数为0的矩阵来表达数据特征。以稀疏性数据来表达原有数据特征的方法,使得神经网络在迭代运算中能够取得又快又好的效果,所以目前大多数max(0,x)来替代sigmoid函数。
作者:HaigLee
https://www.jianshu.com/u/67ec21fb270d
本文由 HaigLee 发布。未经许可,禁止转载