码迷,mamicode.com
首页 > 其他好文 > 详细

为什么要进行归一化处理?(从寻找最优解这个角度讨论)

时间:2017-10-30 14:20:20      阅读:274      评论:0      收藏:0      [点我收藏+]

标签:因变量   图像   过程   padding   数值   范围   取值   出现   rect   

例子

假定为预测房价的例子,自变量为面积,房间数两个,因变量为房价。

那么可以得到的公式为:

技术分享

其中技术分享代表房间数,技术分享代表技术分享变量前面的系数。

其中技术分享代表面积,技术分享代表技术分享变量前面的系数。

首先我们祭出两张图代表数据是否均一化的最优解寻解过程。

未归一化:

技术分享归一化之后

技术分享

为什么会出现上述两个图,并且它们分别代表什么意思。

我们在寻找最优解的过程也就是在使得损失函数值最小的theta1,theta2。

上述两幅图代码的是损失函数的等高线。

我们很容易看出,当数据没有归一化的时候,面积数的范围可以从0~1000,房间数的范围一般为0~10,可以看出面积数的取值范围远大于房间数。

影响

这样造成的影响就是在画损失函数的时候,

数据没有归一化的表达式,可以为:

技术分享

造成图像的等高线为类似椭圆形状,最优解的寻优过程就是像下图所示:

技术分享而数据归一化之后,损失函数的表达式可以表示为:

技术分享

其中变量的前面系数几乎一样,则图像的等高线为类似圆形形状,最优解的寻优过程像下图所示:

技术分享

从上可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。

为什么要进行归一化处理?(从寻找最优解这个角度讨论)

标签:因变量   图像   过程   padding   数值   范围   取值   出现   rect   

原文地址:http://www.cnblogs.com/Bella2017/p/7753848.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!