激励函数（activation function）——也有翻译成激活函数的，也是神经元中重要的组成部分。激励函数在一个神经元当中跟随在f（x）=wx+b函数之后，用来加入一些非线性的因素。

1. Sigmoid函数

Sigmoid函数是一种较早出现的激励函数，把激励值最终投射到了0和1两个值上。通过这种方式引入了非线性因素。其中的“1”表示完全激活的状态，“0”表示完全不激活的状态，其他各种输出值就介于两者之间，表示其激活程度不同。

图片发自简书App

当一个完整的神经元被定义的时候，它通常是带有“线性模型”和“激励函数”两个部分首尾相接而成的。所以最后一个神经元大概是这么个感觉，前半部分接收外界进来的x向量作为刺激，经过wx+b的线性模型后又经过一个激励函数，最后输出。这里只是为了看着方便，x只画了6条线，实际在工作中很多全连接的网络里x要真画出来是要画几万条线不止的。

图片发自简书App