矩阵QR分解

标签：最小二乘法   linear   因此   使用   图片   nal   向量   img   src   

1 orthonormal 向量与 Orthogonal 矩阵

    orthonormal 向量定义为 ，任意向量  相互垂直，且模长为1；

    如果将  orthonormal 向量按列组织成矩阵，矩阵为 Orthogonal 矩阵，满足如下性质：

    ；

   当 为方阵时，为其逆矩阵；当  为长方形矩阵时，为其左逆；

   当矩阵 Q 为正交矩阵时，对向量变换变换前后点积不发生改变，，证明如下：

   ，当 x = y 时，有  。

   对任意向量 b ，可以分解为一组正交向量的线性组合，，要求解系数x，可先写成矩阵形式：

   ，， ；

   因此，向量 b 可分解为  。

2 Gram-Schmidt 与 QR 分解

   对矩阵 ，可以将其转换为正交矩阵 ，方法如下：

   1）向量  方向保持不变，将其长度归一化， ；

   2）向量  可分解为向量  投影分量与垂直于向量   的两分量，剔除投影分量得 ，；

   3）同理，剔除向量  在  ，  上投影分量得 ， ；

   4）依照如上方法，可以对所有向量完成正交化。

   以上处理可以使用矩阵表示，矩阵 Q 为矩阵 A 的列进行线性变换结果，故可写为 A=QR 。

   1）向量   与向量 具有相同方向，故可表示为  ；

   2）向量  被分解为  方向向量，可表示为 ；

   3）向量  被分解为  方向向量，可表示为  ；

   4）综上表示为矩阵形式  。

3 求解 Ax=b

   使用 Gram-Schmidt 可将矩阵 A 转换为正交矩阵 Q，正交矩阵 Q 可简化 Ax=b 运算：

   1）最小二乘法求解 ；

   2）带入  得 ，化简得 ；

   3）不管长方形矩阵还是方阵，都有 ，故上式可化简为 ；

   4）由于 R 为上三角矩阵，使用回代法即可求解。

    参考资料 Linear Algebra And Its Applications   Gilbert Strang

矩阵QR分解

标签：最小二乘法   linear   因此   使用   图片   nal   向量   img   src   

原文地址：https://www.cnblogs.com/luofeiju/p/13294501.html