码迷,mamicode.com
首页 > 其他好文 > 详细

maxout激活函数

时间:2017-08-02 19:05:13      阅读:148      评论:0      收藏:0      [点我收藏+]

标签:高等数学   技术   src   意思   表达   log   最大值   应该   img   

技术分享

 

  maxout的拟合能力是非常强的,它可以拟合任意的的凸函数。最直观的解释就是任意的凸函数都可以由分段线性函数以任意精度拟合(学过高等数学应该能明白),而maxout又是取k个隐隐含层节点的最大值,这些”隐隐含层"节点也是线性的,所以在不同的取值范围下,最大值也可以看做是分段线性的(分段的个数与k值有关)。论文中的图1如下(它表达的意思就是可以拟合任意凸函数,当然也包括了ReLU了):

 

maxout激活函数

标签:高等数学   技术   src   意思   表达   log   最大值   应该   img   

原文地址:http://www.cnblogs.com/wuxiangli/p/7275092.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!