码迷,mamicode.com
首页 > 其他好文 > 详细

正则化(神经网络过拟合时的应对方法)

时间:2018-02-22 23:53:35      阅读:313      评论:0      收藏:0      [点我收藏+]

标签:nbsp   pos   模型   样本   图片   表示   post   方法   学习   

正则化就是在J(w,b)中加上wi^2

J(w,b)表示的是整个模型在样本上的效果,J(w,b)越小,效果越好

深度学习也就是训练参数,是J变小、

 

现在拿L2型正则化来举个例子

我们知道,过拟合的原因是深度网络深度太深,节点太多,激活函数太复杂(非线性)

现在我的J在原来的基础上+ (w1 * w1 + w2 * w2 + ....... + wn * wn)*lanbda/2*m

lanbda是正则化的参数

那么对于没有正则化之前的神经网络来说我的w肯定是变小了 

这样就减小了神经网络对图片的影响,就相当于简化了整个神经网络

 

 还有就是几乎所有的非线性激活函数,在0附近时其形状都是类似线性的

技术分享图片

那我通过降低w是值变小,也就是x变小

那么激活函数就变得线性了

 

在反向传播中,我们反向传播是不用管加上的这个正则化的

我们只需要在改变每个w的值的时候 - 2 * wi * lambda / (2 * m)即可

正则化(神经网络过拟合时的应对方法)

标签:nbsp   pos   模型   样本   图片   表示   post   方法   学习   

原文地址:https://www.cnblogs.com/shensobaolibin/p/8460463.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!