标签：
传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。
从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。
从神经科学上来看，中央区区域酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区，将非重点特征推向两侧区。
无论是哪种解释，其实都比早期的线性激活函数(y=x),阶跃激活函数(-1/1,0/1)高明了不少。
2001年，神经科学家Dayan and Abott模拟出了脑神经元接受信号更精确的激活模型，该模型如图所示：
这个模型
标签：
原文地址：http://www.cnblogs.com/neopenx/p/4453161.html
