码迷,mamicode.com
首页 > 编程语言 > 详细

各种回归算法

时间:2018-04-05 14:34:00      阅读:274      评论:0      收藏:0      [点我收藏+]

标签:regular   knn   regress   最小二乘法   需要   class   表示   obb   利用   

  • 线性回归

线性回归(linear regression)是最简单的模型,通过学习一个线性模型来预测输出值。多元线性回归可表示为$$f(x_i)=w^Tx_i+b$$根据最小二乘法,寻找最优$$\hat{w}^*=argmin(y-W\hat{w})^T(y-X\hat{w})$$求导得到$$\hat{w}^*=(X^TX)^{-1}X^Ty$$在实际样例中,矩阵$X^TX$往往不是满秩矩阵,如样本特征数量大于样本数量,则必然不满秩,此时可以求解出多个使均方误差最小的$\hat{w}$,此时则需要引入正则化(regularization)项。

  • 局部加权线性回归

对于用高阶多项式进行线性回归,若阶数过低,容易造成欠拟合(underfitting);阶数过高,容易造成过拟合(overfitting)。因此可以引入加权项,即$$\hat{w}^*=argmin(y-X\hat{w})^TW(y-X\hat{w})$$其中$W$为权重矩阵,为对角矩阵,其对角线上元素$W_{ii}$为对应样本点$x_i$的权重值。

我们需要使距离所给定的$x$越近的样本点的权重越高。常用高斯核函数,其对应表达式为$$w_{ii}=exp(frac{|x_i-x|}{-2k^2})$$可以看出,当$k$过大,所有样本权重都近似为1,容易造成欠拟合;当$k$过小,距离过远的点无法参与到回归过程,容易造成过拟合现象。

局部加权线性回归缺点和KNN近似,即每次要计算一个点的预测值时,需要利用所有的已知数据样本进行计算,计算量很大。

 

 

 

 

  • Reference

[1]《机器学习》,周志华

[2] http://python.jobbole.com/88747/

各种回归算法

标签:regular   knn   regress   最小二乘法   需要   class   表示   obb   利用   

原文地址:https://www.cnblogs.com/lyteins/p/8722173.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!