参考链接：饱和和非饱和激活函数
右饱和：
当 x 趋向于正无穷大时，导数值趋近于 0
左饱和：
当 x 趋向于负无穷大，导数值趋近于 0
饱和激活函数：当满足右饱和和左饱和时，称作饱和激活函数，分别有 Sigmoid 和 tanh
非饱和激活函数：只满足右饱和或左饱和中的一个，或都不满足，则称作非饱和激活函数，有 ReLU 及其他的变种
非饱和激活函数的优点：
1、解决梯度消失的问题，以 ReLU 为例，当 x 小于等于 0 时，ReLU 的梯度为 0，但是当 x 大于 0 时，ReLU 的梯度恒为 1，这样即使是 N 层的梯度相乘，也还是 1，即不会产生梯度消失问题
2、加快收敛速度，同样以 ReLU 为例，由于在训练的过程中 ReLU 产生的梯度不会越来越小，因此有利于网络更快地收敛
