Generalized Linear Models 一般线性模型

标签：

Ordinary Least Squares  普通最小二乘法

             当达到最小值的时候，就达到最佳拟合直线

     求关于系数w 最小二次方程的最小值，可以利用求对w偏导数  

    同上面等价的另外一种形式的表示： 

也可以简化成

推导过程：

 

    

Ridge Regression 岭回归

由于上式在多重共线性， 会变成0，就会产生问题

通过变换成下面的式子，可以消除这个问题

 k为岭参数， 当k为0,得到最小二乘解，当岭参数趋向更大时,岭回归系数估计趋向于0 

知识点：

多重共线性

        回归模型中的变量存在高度相关性

有偏估计和无偏估计

        个人理解（待修改）：由于直接计算比较困难，通过变换或加上辅助的因子来计算，变换后的计算是有偏估计

                                     没有变换的计算是无偏估计

Generalized Linear Models 一般线性模型

标签：

原文地址：http://www.cnblogs.com/kyostone/p/5727529.html