标签：还需 ... 需要 证明 应对 矩阵 引入 最小 模型
1、线性回归 y=θx+ε，其中y=[y1,y2,y3,...,yn]T，θ=[θ1,θ2,...]，x=[x1,x2,x3,...,xn]T，ε（残差）符合正态分布
那么对于该模型，就是在损失函数最小的前提条件下，寻找θ取值的过程。其中，损失函数采用最小二乘的方法。
2、对于求θ，有三种方法：
1）代数方法：直接求导硬带进去。 ---不建议采用该方法。
2）矩阵方法：(Xθ-Y)T(Xθ-Y)对θ求导为0，可推出θ=(XTX)-1XTY。 ---对于维度较低的时候比较适用，当维度过高时，计算机求逆的时间极具增加，性能较差。
3）梯度下降法：迭代思想，对于高维度数据非常好使，利用泰勒公式做一个一阶的展开。然后设定初始值、步长（不宜太大，0.05就可以），学习率为-f’(x)，进行多次迭代计算即可。
3、岭回归和LASSO回归：
为应对过拟合问题，引入正则化的方法，即通过增加损失值的方式来降低模型复杂度，也就是所谓的“牺牲精度，换取稳定性”。其中，岭回归就是L2正则化，解决病态矩阵的共线性问题；LASSO回归是L1正则化，具有特征选择的作用。
4、其他问题：
在实际使用过程中，还需要证明自变量和因变量的强线性关系，并注意特征向量的共线性问题。
标签：还需 ... 需要 证明 应对 矩阵 引入 最小 模型
原文地址：https://www.cnblogs.com/spiritejx/p/10252415.html
