标签：
首先给出SVD定义：
任意矩阵$A \in R^{m \times n}$总可以分解为两个正交矩阵和一个对角矩阵的乘积。即：
$A = U \Sigma_r V^T$
其中，$U \in R^{m \times m}, V \in R^{n \times n}, \Sigma_r = diag(\sigma_1,\sigma_2,...,\sigma_r,0,0) \in R^{m \times n}$.
其证明要用到实对称矩阵与分块矩阵的一些性质，这里就不给出了。下面谈一谈SVD的意义。
SVD,也就是 Singular Value decomposition.奇异矩阵我们都知道，也就是不可逆方阵，行列式为0。那奇异值是什么呢？
奇异值就是$AA^{T}$或 $A^{T}A$的非零特征值的开方。一般从大到小排列。$AA^{T}$也常被成为协方差矩阵。奇异值和奇异矩阵没有必然
的联系，反倒和矩阵的秩有一定关系。$A$的非零奇异值个数就是A的秩，所以奇异值分解常被用来计算矩阵的秩。
奇异值有什么用呢？
如果把矩阵看成一个样本空间。那么其秩，也就是线性无关的样本个数是空间中的重要信息，也是我们要保留的。
而奇异值分解可以给出原矩阵很好的低秩逼近。也就是说通过选取比较重要的（也就是比较大的）奇异值，进行奇异值分解，我们可以得到一个
保留了原矩阵（样本空间）的重要信息的近似矩阵。该矩阵秩比原矩阵低，但保留了重要信息，也就实现了数据压缩（降维）的目的。这也是奇异值分解
在图片压缩领域应用广泛的原因。
为什么会这样呢？这就涉及到奇异值分解的几何意义了。
标签：
原文地址：http://www.cnblogs.com/zqiguoshang/p/5743455.html
