正规方程

正规方程： 
对于上面的线性回归算法我们都是采用的梯度下降法，使得损失函数最小，而对于线性回归算法还有另外一种使得损失函数最小的方法，那就是正规方程。 
正规方程式通过求解下面的方程来找出使得代价函数最小的参数： 
?J(θj)/?θj=0 
假设我们的训练集特征矩阵为X（包含x0=1）并且训练集结果为向量y，利用正规方程可以解得参数θ=（XTX）?1XTy 
其中,T代表矩阵的转置，上标-1代表矩阵的逆运算。 
举例来看一下正规方式的使用： 
 
这就是上述每个矩阵的构建方式，然后带入公式就可以求得待求参数（一般针对矩阵化的编程语言，求逆一般都有现成的函数可以调用）。 
从求取参数的式子中我们不难发现，当求待求的参数θ时，需要一个求逆的过程，但是不是所有的矩阵都有逆矩阵的，一般当出现下列情况四，矩阵不可逆：

1. 特征之间不独立，比如在描述身高时，选取的两个特征为米和英尺，因为这两个之间存在着一种换算关系：1米(m)=3.2808399英尺(ft)，所以这两个特征不是独立的，这种情况下，矩阵是不可逆的。
2. 当特征的数量大于训练集的数量时，正规方程也是不能用的。

当使用正规方程时： 
1.首先确定是否有相关的特征，如果存在相关的特征，则去除相关特征； 
2.当特征的数目较多时，可以去除一些不重要的特征，用少量的特征表示尽可能多的内容。 
下面来比较一下梯度下降法和正规方程的优劣： 
梯度下降法的优势： 
1.当特征的数量比较大时（特征的数量超过10000），也能够很好的实现损失函数最小化，同时时间复杂度不是很高；而当特征的数量比较大时，使用正规方程求解逆运算是非常耗时的，所以此时使用梯度下降法比较合适。 
2.梯度下降法适用于所有类型的模型，而正规方程的方法一般只适用于线性模型，不适合逻辑回归等其他模型。 
正规方程的优势： 
1.当特征点的数量不是很大时，使用正规方程更加简答，不需要像梯度下降算法一样迭代实现，一次计算就可以得出最优参数。 
2.对于梯度算法来说，性能的好坏还与学习率的设置有关，学习率设置不合适，时间消耗较长，甚至得不到最优解，而正规方程的方法不需要学习率的设置。