码迷,mamicode.com
首页 > 其他好文 > 详细

线性代数之——子空间投影

时间:2018-11-21 15:38:19      阅读:309      评论:0      收藏:0      [点我收藏+]

标签:子空间   线性   结果   isp   列空间   lin   play   直线   向量   

1. 投影

向量 $ b = (2, 3, 4)$ 在 \(z\) 轴上和在 \(xy\) 平面上的投影是什么,哪个矩阵能产生到一条线上和到一个平面的投影?

\(b\) 被投影到 \(z\) 轴上时,它的投影 \(p\) 就是 \(b\) 沿着那条线的部分。当 \(b\) 被投影到一个平面时,它的投影就是 \(b\) 在平面中的部分。

技术分享图片

\(z\) 轴上的投影 \(p_1 = (0, 0, 4)\),到 \(xy\) 平面上的投影 \(p_2 = (2, 3, 0)\),两个投影矩阵 \(P_1\)\(P_2\) 分别为

技术分享图片

\(P_1\) 就是选出每个向量的 \(z\) 分量, \(P_2\) 就是选出每个向量的 \(x\)\(y\) 分量。

技术分享图片

在这个例子中,\(z\) 轴和 \(xy\) 平面是正交子空间,就像地面和两面墙的交线一样。

除此之外,它们还是正交补的。整个空间的任意向量都可以表示为它们在两个子空间中分量的和。

2. 到一条线上的投影

假设一条过原点的直线方向为 \(a = (a_1, a_2,\cdots, a_m)\),我们要将点 \(b = (b_1, b_2,\cdots, b_m)\) 投影到这条直线上。

技术分享图片

投影 \(p\)\(a\) 在一条直线上,因此有 \(p = \hat xa\),误差 \(e = b-p = b-\hat xa\),然后由 \(e\) 垂直于 \(a\),我们可得。

\[e \cdot a = 0 \to (b-\hat xa) \cdot a = 0 \to a\cdot b - \hat x a\cdot a = 0\]

因此,可求得系数 \(\hat x\)

\[\hat x = \frac{a\cdot b}{a\cdot a} = \frac{a^Tb}{a^Ta}\]

投影为 \(p = \hat x a = \frac{a^Tb}{a^Ta} a\)

如果 \(b=a\),那么 \(\hat x = 1\),投影还是它自己,\(Pa = a\)。 如果 \(b\perp a\),那么 \(\hat x = 0\),投影为 0。

将投影重写为 \(p = a \hat x =a \frac{a^Tb}{a^Ta} = \frac{aa^T}{a^Ta}b\)。因此,投影矩阵 \(P = \frac{aa^T}{a^Ta}\)

如果向量 \(a\) 变为两倍,投影矩阵 \(P\) 不变,它还是投影到同一条直线。如果投影矩阵平方,那就是进行两次投影,和进行一次投影是一样的结果,因此有 \(P^2=P\)

同时,\(I-P\) 也是一个投影矩阵,\((I-P)b = b-p = e\)。当 \(P\) 投影到一个子空间时,\(I-P\) 投影到和它垂直的另一个子空间。

3. 到子空间的投影

假设 \(n\)\(\boldsymbol R^m\) 空间中的向量 \(a_1,\cdots,a_n\) 是线性不相关的,我们想找到一个线性组合 \(p=\hat x_1 a_1+\cdots+\hat x_n a_n\) 使得 \(p\) 距离一个给定向量 \(b\) 最近。

\(a_1,\cdots,a_n\) 可以看做是矩阵 \(A\) 的列,我们要找的线性组合是在矩阵 \(A\) 的列空间中。我们要找的是距离\(b\) 最近的一个组合 \(A\hat x\),也就是 \(b\) 在列空间的投影。

技术分享图片

同理,误差 \(e=b-A\hat x\) 垂直于子空间,也就是垂直于子空间的所有向量。

技术分享图片

也即

\[A^T(b-A\hat x) = 0 \to A^TA\hat x = A^Tb\]

\(A^TA\) 是一个 n×n 的矩阵,因为 \(A\) 的列是线性不相关的,所以其是可逆的。可得线性组合系数为

\[\hat x = (A^TA)^{-1}A^Tb \]

所以有,投影和投影矩阵分别为

\[p = A \hat x = A(A^TA)^{-1}A^Tb\]

\[P = A(A^TA)^{-1}A^T\]

\(A^T(b-A\hat x) = 0\) 可知,误差 \(e\) 位于 \(A\) 的左零空间 \(N(A^T)\) 中,向量 \(b\) 被分为了投影 \(p\) 和误差 \(e\) 两部分。

\(A^TA\) 是可逆的当且仅当 \(A\) 的列是线性不相关的。

\(Ax=0\) 时,我们有 \(A^TAx=0\)。而当 \(A^TAx=0\) 时,我们有
\[x^TA^TAx=0 \to (Ax)^TAx = 0 \to Ax = 0\]

因此 \(A^TA\)\(A\) 有着一样的零空间,当 \(A\) 的列线性不相关时,\(A^TA\) 是一个方阵,对称并且可逆。

获取更多精彩,请关注「seniusen」!
技术分享图片

线性代数之——子空间投影

标签:子空间   线性   结果   isp   列空间   lin   play   直线   向量   

原文地址:https://www.cnblogs.com/seniusen/p/9994177.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!