激励函数(activation function)——也有翻译成激活函数的,也是神经元中重要的组成部分。激励函数在一个神经元当中跟随在f(x)=wx+b函数之后,用来加入一些非线性的因素。
1. Sigmoid函数
Sigmoid函数是一种较早出现的激励函数,把激励值最终投射到了0和1两个值上。通过这种方式引入了非线性因素。其中的“1”表示完全激活的状态,“0”表示完全不激活的状态,其他各种输出值就介于两者之间,表示其激活程度不同。
当一个完整的神经元被定义的时候,它通常是带有“线性模型”和“激励函数”两个部分首尾相接而成的。所以最后一个神经元大概是这么个感觉,前半部分接收外界进来的x向量作为刺激,经过wx+b的线性模型后又经过一个激励函数,最后输出。这里只是为了看着方便,x只画了6条线,实际在工作中很多全连接的网络里x要真画出来是要画几万条线不止的。