码迷,mamicode.com
首页 > 其他好文 > 详细

岭回归和Lasso回归以及norm1和norm2

时间:2018-09-19 23:31:58      阅读:215      评论:0      收藏:0      [点我收藏+]

标签:bsp   扩展   euc   应用   就是   添加   模型   注意   岭回归   

norm代表的是距离,两个向量的距离;下图代表的就是p-norm,其实是对向量里面元素的一种运算;

技术分享图片

最简单的距离计算(规范)是欧式距离(Euclidean distance),两点间距离是如下来算的,属于L2-norm:

技术分享图片

另外一种就是出租车距离(也称之为曼哈顿距离):这是一种1-norm:

技术分享图片

L1-norm对应的就是1-norm,L2-norm对应的是2-norm;

注意上面的x代表的是两个向量的差值,x=v1-v2;x1=v1【1】-v2【1】。

下面的就是岭回归(L2-norm)和Lasso回归(L1-norm)的成本公式:

技术分享图片

在健壮性上面(抵御异常值),L1是优于L2的,因为L1是线性的,L2是曲线,后者对于离群值(outlier)的判断是要更加困难的;

在稳定性上面(水平调整的抵抗力,和健壮性相反),L2是优于L1的;

在解决方案层面上,L2只有一个,比如欧氏距离中,因为是多元的,所以当且仅当x和y同时满足才能够实现距离最短;但是,L1只有则有多个解,下面的就是曼哈顿路线图,可以看到其实是有多条路可以到对角。

技术分享图片

计算困难度上面,L2是要高于L1,毫无疑问,L2是平方计算,L1是一次方计算;

稀疏性(Sparsity)上面,L1要高于L2的;

这里讲述的L1,L2其实是扩展讲述,其实在岭回归以及Lasso回归中重要的应用场景是如果线性回回模型导致了过拟合,此时需要进行正则化,这个时候可以选择岭回归和Lasso回归来进行正则化,所谓的正则化其实就是讲规则公式增加一些噪声,其中就是通过添加L1或者L2的噪声。

 

 

 

岭回归和Lasso回归以及norm1和norm2

标签:bsp   扩展   euc   应用   就是   添加   模型   注意   岭回归   

原文地址:https://www.cnblogs.com/xiashiwendao/p/9678157.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!