通俗理解激活函数的另一种解释

标签：数据   文章   logistic   简单   式表   分组   感知   解决   另一个   

激活函数其中一个重要的作用是加入非线性因素的，解决线性模型所不能解决的问题。
这个解释形象的解释神经网络激活函数的作用是什么？这篇文章已经解释的比较清楚。
下面从另一个角度来解释一下激活函数的作用，特征的充分组合。

首先我们看一个简单的感知机如下：

其中x1,x2输入均为特征的输入

激活函数采取sigmoid函数,公式表达如下：

此时，我们可能看不出什么不同，但是根据泰勒展开，

我们能够看到，将x3代码到激活函数的时候，其实激活函数的e^x泰勒展开后，有平方项，有立方项，有更高的项，这些自动能够把输入特征进行两两组合，进行三三组合或者其它的组合。

比如其中的平方项体现了将特征进行两两组合：

这就把原来需要领域知识的专家对特征进行组合的情况，在激活函数运算后，其实也能够起到类似特征组合的作用。
（只要激活函数中有能够泰勒展开的函数，就可能起到特征组合的作用）
这也许能给我们一些思考。
致谢：张梅山老师

推荐阅读：

为什么要对数据进行归一化处理？
logistic函数和softmax函数
视频讲解|为什么神经网络参数不能全部初始化为全0

全是通俗易懂的硬货！只需置顶~欢迎关注交流~

通俗理解激活函数的另一种解释

标签：数据   文章   logistic   简单   式表   分组   感知   解决   另一个   

原文地址：https://blog.51cto.com/15009309/2553604