码迷,mamicode.com
首页 > 其他好文 > 详细

ReLU函数

时间:2018-01-07 14:19:24      阅读:1236      评论:0      收藏:0      [点我收藏+]

标签:inline   神经元   tps   back   span   视觉   logistic   unit   com   

Rectifier(neural networks)

在人工神经网络中,rectfier(整流器,校正器)是一个激活函数,它的定义是:参数中为正的部分。

技术分享图片,

其中,x是神经元的输入。这也被称为ramp function(斜坡函数),类似于电气工程中半波整流。

 

由来:

2000年由Hahnloser et al等人首次将该激活函数引入动态网络中,具有强烈的生物学动机和数学理论。

此激活函数在 convolutional networks中被广泛应用,比logistic sigmoid更有效和实用。

rectfier是2017年深度神经网络中最流行的激活函数。

 

ReLU:

采用rectifier的单元被称为rectfier linear unit(ReLU)

rectifier的平滑近似是analytic function:

技术分享图片

被称为softplus function。它的偏导数是技术分享图片 即逻辑函数

Rectified linear units在computer vision,speech recognition 等深度神经网络中有广泛应用。

技术分享图片

Plot of the rectifier (blue) and softplus (green) functions near x = 0

 

Variants:

Noisy ReLUs

Rectfier linear units可以被扩展成包含Gaussian noise,

技术分享图片, with 技术分享图片

Noisy ReLUs成功应用在一些计算机视觉任务上。

 

Leaky ReLUs

Leaky ReLUs allow a small, non-zero gradient when the unit is not active.

技术分享图片

Parametric ReLUs将coefficient of leakage(泄露系数)转化为与其它神经网络参数一起学习的参数

技术分享图片

注意,如果a<=1,那么它等价于

技术分享图片   就与maxout networks有关

 

 

ELUs:

Exponential linear units try to make the mean activations closer to zero which speeds up learning. It has been shown that ELUs can obtain higher classification accuracy than ReLUs

 技术分享图片

a是需要调的参数,且a>=0

 

 

Advantages

 请参考

 https://en.wikipedia.org/wiki/Rectifier_(neural_networks)

 

Potential problems

 请参考

 https://en.wikipedia.org/wiki/Rectifier_(neural_networks)

 

 

 

 

 

 

 

 

 

 

 

 

ReLU函数

标签:inline   神经元   tps   back   span   视觉   logistic   unit   com   

原文地址:https://www.cnblogs.com/1zhangwenjing/p/8227454.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!