之前我们介绍了Sigmoid函数能够将输入的数据转换到0和1之间，其实Sigmoid函数本质上是一种常用的激活函数，是神经元最重要的组成部分。那什么是激活函数呢？激活函数有什么作用呢？常见的激活函数都有哪些？以及如何选择合适的激活函数？本节我们将重点对上述问题进行讨论。
线性模型在处理非线性问题时往往手足无措，这时我们需要引入激活函数来解决线性不可分问题。激活函数（Activation function），又名激励函数，往往存在于神经网络的输入层和输出层之间，作用是给神经网络中增加一些非线性因素，使得神经网络能够解决更加复杂的问题，同时也增强了神经网络的表达能力和学习能力。
常用的激活函数有Sigmoid函数、双曲正切激活函数（tanh）、修正线性单元（ReLU）等。接下来我们将一一学习。
sigmoid函数
Sigmoid函数是神经网络中最常用到的激活函数，数学表达式为：
函数图像如下
由函数图像可知，Sigmoid函数是单调增函数，输出范围在[0,1]之间，且越是负向增大，越接近于0，逼近速度越来越慢；越是正向增大，越接近于1，逼近速度也是越来越慢；因为 Sigmoid函数求导比较容易，可解释性也很强，所以在历史上被广泛的使用。
与此同时，Sigmoid函数也有两个很大的缺点：首先是Sigmoid函数会造成梯度消失问题，从图像中我们也可以得知，当输入特别大或是特别小时，神经元的梯度几乎接近于0，这就导致神经网络不收敛，模型的参数不会更新，训练过程将变得非常困难。另一方面，Sigmoid函数的输出不是以0为均值的，导致传入下一层神经网络的输入是非0的。这就导致一个后果：若Sigmoid函数的输出全部为正数，那么传入下一层神经网络的值永远大于0，这时参数无论怎么更新梯度都为正。正是基于上述的缺点，Sigmoid函数近年来的使用频率也在渐渐减弱。
双曲正切激活函数（Tanh）
Tanh函数又名双曲正切激活函数，是Sigmoid函数的变形，其数学表达式为：
函数图像如图3-9所示：
由上图可知，tanh激活函数与Sigmoid函数不同的是，函数的输出范围在[-1,1]之间，且Tanh函数的输出是以为0均值的，这就一定程度上解决了上述Sigmoid函数的第二个缺点，所以其在实际应用中的效果要好于Sigmoid函数。但当输入特别大或是特别小时，仍然存在梯度消失的问题。
修正线性单元ReLU
ReLU激活函数又名修正线性单元，是目前深层神经网络中越来越受欢迎的一种激活函数，其数学表达式为：，函数图像如下图所示：
从ReLU的函数图像我们可以发现，函数原点左侧的部分，输出值为0，斜率为0；函数原点右侧是斜率为1的直线，且输出值就是输入值。相比于上述的Sigmoid和tanh两种激活函数，ReLU激活函数完美的解决了梯度消失的问题，因为它的线性的、非饱和的。此外，它的计算也更加简单，只需要设置一个特定的阈值就可以计算激活值，这样极大的提高了运算的速度。所以近年来，ReLU激活函数的应用越来越广泛。
但是ReLU激活函数也有一些缺陷：训练的时候不适合大梯度的输入数据，因为在参数更新之后，ReLU的神经元不会再任何数据节点被激活，这就会导致梯度永远为0。比如：输入的数据小于0时，梯度就会为0，这就导致了负的梯度被置0，而且今后也可能不会被任何数据所激活，也就是说ReLU的神经元“坏死”了。
所以针对ReLU函数上述的缺点，又出现了带泄露的ReLU（Leaky ReLU）和带参数的ReLU（Parametric ReLU）。
- Leaky ReLU
- PReLU
其中
为可学习的参数变量
其它激活函数
Leaky ReLU是ReLU激活函数的变形，主要是针对ReLU函数中神经元容易坏死的缺陷，将原点左侧小于0的部分，赋予一个很小的斜率。其效果通常要好于ReLU激活函数，但实践中使用的频率并没有那么高。数据公式为：f(x) = max(0, x) + γmin(0, x)。通常，γ是一个很小的常数，如：0.01。
Parametric ReLU是ReLU激活函数的另一种变形，和Leaky ReLU函数一样是非饱和函数，解决了坏死难题。不同之处在于其在函数中引入一个可学习的参数，往往不同的神经元有不同的参数，所以第i个神经元的数学表达式为：f(x) = max(0, x) + γi min(0, x)。当γi 取0时，便可以视为ReLU函数，取很小的常数时，可视为Leaky ReLU函数。相对而言，Parametric ReLU激活函数的使用频率也不是很高。
上述两种ReLU激活函数的变形Leaky ReLU、Parametric ReLU函数图如图3-10所示：
