重点整理:
PCA(Principal Components Analysis)即主成分分析,是图像处理中经常用到的降维方法
1、原始数据:
假定数据是二维的
x=[2.5, 0.5, 2.2, 1.9, 3.1, 2.3, 2, 1, 1.5, 1.1]T
y=[2.4, 0.7, 2.9, 2.2, 3.0, 2.7, 1.6, 1.1, 1.6, 0.9]T
2、计算协方差矩阵
(1)协方差矩阵:
标准差和方差一般是用来描述一维数据的
协方差就是一种用来度量两个随机变量关系的统计量(协方差也只能处理二维问题,需要计算多个协方差)
协方差矩阵是一个对称的矩阵,而且对角线是各个维度上的方差。
(2)协方差矩阵的求法:
协方差矩阵计算的是不同维度之间的协方差,而不是不同样本之间的
协方差矩阵是计算不同维度间的协方差,要时刻牢记这一点。样本矩阵的每行是一个样本,每列为一个维度,所以我们要按列计算均值
3、计算协方差矩阵的特征向量和特征值
这些矢量都是单位矢量,也就是它们的长度为1,这对PCA来说是很重要
4、选择成分组成模式矢量
按照特征值由大到小进行排列,这将给出成分的重要性级别。
如果你的原始数据是n维的,你选择了前p个主要成分,那么你现在的数据将仅有p维。现在我们要做的是组成一个模式矢量,它由你保持的所有特征矢量构成,每一个特征矢量是这个矩阵的一列。
参考:
PCA降维方法(主成分分析)详解 http://chyyeng.blog.163.com/blog/static/169182302012111433537985/
PCA算法学习_1(OpenCV中PCA实现人脸降维) - tornadomeet - 博客园 http://www.cnblogs.com/tornadomeet/archive/2012/09/06/2673104.html
核PCA(1)_落落_新浪博客 http://blog.sina.com.cn/s/blog_69d515b10100kim3.html