1.矩阵分解
假设一个矩阵Data是m行n列，SVD(奇异值分解)将Data分解为U,E,VT 三个矩阵：
Datam*n=Um*kEk*kVTk*n
E是一个对角矩阵，对角元素为奇异值，对应Data的奇异值，即Data*DataT特征值的平方
2.选取特征
下面确定选取哪几维特征实现降维，去除噪声和冗余信息，用低维数据集表示原数据集。
典型做法是保留矩阵90%能量信息，公式如下，先选一个值h:
奇异阵的平方 sig=ETE
如果奇异阵的平方中前i项的和大于奇异阵的平方总和，即sum(sig[:h]) > sum(sig)*0.9，就可以把原矩阵转换成一个h维的矩阵，新矩阵具体为：
newDatam*n=DataTm*n * U[:,:h]m*h * E-1h*h
3.python实现
numpy中线性代数工具箱linalg包的svd方法可方便得到奇异阵E。另，linalg包的norm方法可用于计算范数。
SVD一些典型应用如推荐系统，06年的Netflix大赛即使用SVD。
原文地址：http://www.cnblogs.com/ffan/p/3762449.html
