主成分分析与白化预处理

标签：deep learning   ufldl   深度学习   模式识别   压缩   

上一节介绍了主成分分析应用于2维数据。现在使用高维的图像数据来试试效果。

原始图像如图1所示。

图1

每个图片都是12*12的小patch，原始数据是一个144*10000的矩阵x。

在使用了PCA旋转之后，可以检查一下此时的协方差矩阵是否已经成功变成对角阵了，如图2所示。

avg=mean(x,1);
x=x-repmat(avg,size(x,1),1);
xRot = zeros(size(x)); % You need to compute this
[u,s,v]=svd(x*x'/size(x,2));
xRot=u'*x;
covar = zeros(size(x, 1)); % You need to compute this
covar=xRot*xRot'/size(xRot,2);
figure('name','Visualisation of covariance matrix');
imagesc(covar);</span>

图2

接下来我们需要找到使得图片方差保持在90%以上的k值。即取协方差矩阵最大的k个特征值用来后面降维。

k = 0; % Set k accordingly
partial=0;
total=sum(diag(s));
for k=1:size(x,1)
partial=partial+s(k,k)/total;
if partial>0.9
break;
end
end</span>

xHat = zeros(size(x));
xHat=u(:,1:k)*u(:,1:k)'*x;</span>

图3

而如果像前文所说，取能保持99%的k值116的话，效果会更好，如图4。

图4

接下来还可以进行PCA白化。

epsilon = 0.1;
xPCAWhite = zeros(size(x));
xPCAWhite=diag(1./sqrt(diag(s)+epsilon))*u'*x;</span>

covar = zeros(size(xPCAWhite, 1)); % You need to compute this
covar=xPCAWhite*xPCAWhite'/size(xPCAWhite,2);
figure('name','Visualisation of covariance matrix');
imagesc(covar);</span>

图5

最后是ZCA白化的处理效果，可以看出ZCA在不降维的情况下，通过变换将原始数据的边缘提取了出来，如图6。

xZCAWhite = zeros(size(x));
xZCAWhite=u*xPCAWhite;
figure('name','ZCA whitened images');
display_network(xZCAWhite(:,randsel));
figure('name','Raw images');
display_network(x(:,randsel));

图6

欢迎参与讨论并关注本博客和微博以及知乎个人主页后续内容继续更新哦~

转载请您尊重作者的劳动，完整保留上述文字以及文章链接，谢谢您的支持！

主成分分析与白化预处理,布布扣,bubuko.com

主成分分析与白化预处理

标签：deep learning   ufldl   深度学习   模式识别   压缩   

原文地址：http://blog.csdn.net/ycheng_sjtu/article/details/38497207