码迷,mamicode.com
首页 > 其他好文 > 详细

聊聊 归一化和标准化

时间:2018-06-27 11:28:34      阅读:157      评论:0      收藏:0      [点我收藏+]

标签:描述   就是   预处理   logs   其他   get   为什么   nbsp   max   

先扯闲篇儿~

一个同事曾遭遇这样的面试题:在机器学习建模时,如果某个特征的取值范围比其他特征大很多,该如何处理?

同事脱口而出:做归一化或标准化处理,把特征取值范围缩小。

面试官给出的答案是:不用处理,只不过机器学习时这个特征对应的系数会很小而已。

于是此君面试没过... orz

我此前在机器学习上的经验实在不多,这里简单搬运一下网上关于归一化和标准化的描述,日后有了新的认知再来更新。

 

归一化是把数据强行压缩到[0,1]区间内,一般的做法是采用min、max值,原数据是x,变换后的数据是 (x-min)/(max-min)。

标准化是把数据从现有分布强行变换到某些标准分布上,最常用的标准分布是(0,1)正态分布,对应的变换公式就是计算原数据的z-score,即 (x-mean(x))/std(x)。

 

目前我还没应用过这两个方法去处理数据,一个主要原因是某些机器学习算法不需要对数据做预处理,即使数据的量纲不同、取值范围不同,也不影响机器学习建模,比如随机森林和GBDT,而这些算法恰恰是最常用的算法。

单从概念上来理解一下二者。

其实文章开头的面试官说的没错,取值范围大就大,参数小一些就可以了。那为什么非要做变换呢?网上有一篇博文提到了收敛速度和精度,我没有实操验证过,不是很理解,这里先把博文地址留下,供日后参考阅读 https://www.cnblogs.com/pejsidney/p/8031250.html

归一化和标准化都存在一个问题,就是可能会改变原始数据的分布,进而影响机器学习的效果。比如,特征X和特征Y本来是线性关系,把X做归一化后,线性关系还存在,可如果X和Y是二次关系、三次关系,把X做归一化后,可能会破坏这种关系,导致模型无法正确拟合X和Y的关系。当然了,这是个形而上学的例子,只用做学术讨论。

最后补充一点,把 xi 变换成 xi/sum(xi) 虽然也算一种归一化,但是貌似只适合用在排名次的场合,对特征取值做这种变换不大合理。

 

聊聊 归一化和标准化

标签:描述   就是   预处理   logs   其他   get   为什么   nbsp   max   

原文地址:https://www.cnblogs.com/xxiaolige/p/9232830.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!