Matlab PCA分析

%% 样本矩阵X，有8个样本，每个样本有4个特征，使用PCA降维提取k个主要特征（k<4）
k=2;                            %将样本降到k维参数设置
X=[1 2 1 1;                     %样本矩阵
      3 3 1 2; 
      3 5 4 3; 
      5 4 5 4;
      5 6 1 5; 
      6 5 2 6;
      8 7 1 2;
      9 8 3 7]
%% 使用Matlab工具箱princomp函数实现PCA
[COEFF SCORE latent]=princomp(X)
pcaData1=SCORE(:,1:k)            %取前k个主成分

运行结果：

X =
     1     2     1     1
     3     3     1     2
     3     5     4     3
     5     4     5     4
     5     6     1     5
     6     5     2     6
     8     7     1     2
     9     8     3     7
COEFF =
    0.7084   -0.2826   -0.2766   -0.5846
    0.5157   -0.2114   -0.1776    0.8111
    0.0894    0.7882   -0.6086    0.0153
    0.4735    0.5041    0.7222   -0.0116
SCORE =
   -5.7947   -0.6071    0.4140   -0.0823
   -3.3886   -0.8795    0.4054   -0.4519
   -1.6155    1.5665   -1.0535    1.2047
   -0.1513    2.5051   -1.3157   -0.7718
    0.9958   -0.5665    1.4859    0.7775
    1.7515    0.6546    1.5004   -0.6144
    2.2162   -3.1381   -1.6879   -0.1305
    5.9867    0.4650    0.2514    0.0689
latent =
   13.2151
    2.9550
    1.5069
    0.4660
pcaData1 =
   -5.7947   -0.6071
   -3.3886   -0.8795
   -1.6155    1.5665
   -0.1513    2.5051
    0.9958   -0.5665
    1.7515    0.6546
    2.2162   -3.1381
    5.9867    0.4650

（2）方法二：自己编程实现
    PCA的算法过程，用一句话来说，就是“将所有样本X减去样本均值m，再乘以样本的协方差矩阵C的特征向量V，即为PCA主成分分析”，其计算过程如下：
    [1].将原始数据按行组成ｍ行ｎ列样本矩阵X（每行一个样本，每列为一维特征）
    [2].求出样本X的协方差矩阵C和样本均值m；（Matlab可使用cov()函数求样本的协方差矩阵C，均值用mean函数）
    [3].求出协方差矩阵的特征值D及对应的特征向量V；（Matlab可使用eigs()函数求矩阵的特征值D和特征向量V）
    [4].将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；（eigs()返回特征值构成的向量本身就是从大到小排序的）
    [5].Y=(X-m)×P即为降维到k维后的数据；

    PS：关于协方差矩阵，很多人有点郁闷，有些教程用协方差矩阵，而有些资料是用散步矩阵计算，其实协方差矩阵和散步矩阵就是一个倍数关系：协方差矩阵C×（n-1）=散步矩阵S。我们可以使用Matlab工具箱的cov函数求协方差矩阵C。

 %% 自己实现PCA的方法
[Row Col]=size(X);
covX=cov(X);                                    %求样本的协方差矩阵（散步矩阵除以(n-1)即为协方差矩阵）
[V D]=eigs(covX);                               %求协方差矩阵的特征值D和特征向量V
meanX=mean(X);                                  %样本均值m
%所有样本X减去样本均值m，再乘以协方差矩阵（散步矩阵）的特征向量V，即为样本的主成份SCORE
tempX= repmat(meanX,Row,1);
SCORE2=(X-tempX)*V                              %主成份：SCORE
pcaData2=SCORE2(:,1:k)

运行结果：

SCORE2 =
   -5.7947    0.6071   -0.4140    0.0823
   -3.3886    0.8795   -0.4054    0.4519
   -1.6155   -1.5665    1.0535   -1.2047
   -0.1513   -2.5051    1.3157    0.7718
    0.9958    0.5665   -1.4859   -0.7775
    1.7515   -0.6546   -1.5004    0.6144
    2.2162    3.1381    1.6879    0.1305
    5.9867   -0.4650   -0.2514   -0.0689

pcaData2 =
   -5.7947    0.6071
   -3.3886    0.8795
   -1.6155   -1.5665
   -0.1513   -2.5051
    0.9958    0.5665
    1.7515   -0.6546
    2.2162    3.1381
    5.9867   -0.4650

     对比方法一和方法可知，主成份分量SCORE和SCORE2的绝对值是一样的（符号只是相反方向投影而已，不影响分析结果），其中pcaData是从SCORE提取前2列的数据，这pcaData就是PCA从4维降到2维空间的数据表示形式，pcaData可以理解为：通过PCA降维，每个样本可以用2个特征来表示原来4个特征了。

（3）方法三：使用快速PCA方法

     PCA的计算中最主要的工作量是计算样本协方差矩阵的本征值和本征向量。假设样本矩阵X的大小为n ×d (n个d 维样本特征向量)，则样本散布矩阵(协方差矩阵) S 将是一个d×d的方阵，故当维数d较大时计算复杂度会非常高。例如当维数d=10000，S是一个10 000 ×10 000的矩阵，此时如果采用上面的princomp函数计算主成份，Matlab通常会出现内存耗尽的问题（out of memory）， 即使有足够多的内存，要得到S的全部本征值可能也要花费数小时的时间。

    快速PCA的方法相关理论，可以参考张铮的《精通Matlab数字图像处理与识别》第12章（P307），PDF可在附件下载：http://download.csdn.net/detail/guyuealian/9799160

    fastPCA函数用来对样本矩阵A进行快速主成分分析和降维(降至k维)，其输出pcaA为维后的k维样本特征向量组成的矩阵，每行一个样本，列数k为降维后的样本特征维数，相当于princomp函数中的输出SCORE， 而输出V为主成分分量，相当于princomp函数中的输出COEFF。

 

%% 使用快速PCA算法实现的方法
[pcaData3 COEFF3] = fastPCA(X, k )

    其中fastPCA函数的代码实现如下：

 

function [pcaA V] = fastPCA( A, k )
% 快速PCA
% 输入：A --- 样本矩阵，每行为一个样本
%      k --- 降维至 k 维
% 输出：pcaA --- 降维后的 k 维样本特征向量组成的矩阵，每行一个样本，列数 k 为降维后的样本特征维数
%      V --- 主成分向量
[r c] = size(A);
% 样本均值
meanVec = mean(A);
% 计算协方差矩阵的转置 covMatT
Z = (A-repmat(meanVec, r, 1));
covMatT = Z * Z‘;
% 计算 covMatT 的前 k 个本征值和本征向量
[V D] = eigs(covMatT, k);
% 得到协方差矩阵 (covMatT)‘ 的本征向量
V = Z‘ * V;
% 本征向量归一化为单位本征向量
for i=1:k
    V(:,i)=V(:,i)/norm(V(:,i));
end
% 线性变换（投影）降维至 k 维
pcaA = Z * V;
% 保存变换矩阵 V 和变换原点 meanVec

运行结果为：

pcaData3 =

   -5.7947   -0.6071
   -3.3886   -0.8795
   -1.6155    1.5665
   -0.1513    2.5051
    0.9958   -0.5665
    1.7515    0.6546
    2.2162   -3.1381
    5.9867    0.4650

COEFF3 =

    0.7084   -0.2826
    0.5157   -0.2114
    0.0894    0.7882
    0.4735    0.5041