在神经网络中，经常要使用到激活函数，对于激活函数的选用，我暂时没有找到很好的指导信息（如果有，麻烦告诉我），但是对于激活函数的选用，可以根据神经网络的用途及其场景，再加上对于激活函数的值域的了解，大致可以选定适合对应用途以及场景的激活函数；例如，对于分类器，最终输出的是输入样本，在某一类上的可能性（概率），而概率值一般在[0,1]之间，因而最后一层输出的时候，可以选用值域在[0,1]之间的激活函数，比如说sigmoid函数。诸如此类的问题，可以根据值域来选择激活函数的运用，下列是一些常见的激活函数，及其函数图像，我会不定期的添加我遇到的一些新的激活函数。
1.sigmoid激活函数
函数的定义为：
值域为(0,1)
函数图像如下：
2.tanh激活函数
函数的定义为:
值域为(-1,1)
函数图像如下：
3.Relu激活函数
来源: Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[C]//Proceedings of the 27th international conference on machine learning (ICML-10). 2010: 807-814.
R Hahnloser, R. Sarpeshkar, M A Mahowald, R. J. Douglas, H.S. Seung (2000). Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit. Nature. 405. pp. 947–951
函数的定义为：
f(x) = max(0, x)
值域为[0,+∞)
函数图像如下：
4.Leak Relu激活函数
函数定义为：
值域为(-∞,+∞)
图像如下（α为0.5的情况）
5. SoftPlus激活函数
函数的定义为：
值域为(0,+∞)
函数图像如下:
6.Soft Max
函数定义为:
定义域为R
值域为[0,1]
7.Maxout
来源：Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. arXiv preprint arXiv:1302.4389, 2013.
函数定义为:
值域(-∞,+ ∞)
