上一节介绍了主成分分析应用于2维数据。现在使用高维的图像数据来试试效果。
原始图像如图1所示。
图1
每个图片都是12*12的小patch，原始数据是一个144*10000的矩阵x。
在使用了PCA旋转之后，可以检查一下此时的协方差矩阵是否已经成功变成对角阵了，如图2所示。
avg=mean(x,1);
x=x-repmat(avg,size(x,1),1);
xRot = ze...
分类：
其他好文 时间：
2014-08-11 21:28:52
阅读次数：
429
这一节不论是思想还是实现都比较容易。
主成分分析（PCA）就是模式识别里面说的K-L变换，思想是完全相同的。
详情可见我的博文：特征选择（三）-K-L变换
这里简单介绍几个概念。顺便贴出代码和效果图。
xRot = zeros(size(x));
xRot=u'*x;
figure(2);
scatter(xRot(1, :), xRot(2, :));
title('xRot');得到原...
分类：
其他好文 时间：
2014-08-11 18:04:42
阅读次数：
309
5个提案的14个开题报告，涉及数据可视化实践、社交云电视模型、Spark上流式机器学习算法实现、基于云存储的Linux系统增强服务和网络拓扑距离的高效KNN查询。...
分类：
其他好文 时间：
2014-08-07 18:58:10
阅读次数：
306
本文出处：http://blog.csdn.net/xizhibei=============================PCA，也就是PrincipalComponents Analysis，主成份分析，是个非常优秀的算法，依照书上的说法：寻找最小均方意义下，最能代表原始数据的投影方法然后自己...
分类：
其他好文 时间：
2014-08-07 18:27:10
阅读次数：
171
理论参考文献：但此文没有代码实现，这里自己实现一下，让理解更为深刻
问题：假设在IR中我们建立的文档-词项矩阵中，有两个词项为“learn”和“study”，在传统的向量空间模型中，认为两者独立。然而从语义的角度来讲，两者是相似的，而且两者出现频率也类似，是不是可以合成为一个特征呢？
《模型选择和规则化》谈到的特征选择的问题，就是要剔除的特征主要是和类标签无关的特征。比如...
算法简介
主成分分析(PrincipalComponentAnalysis,简称PCA)是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。主要用于对特征进行降维。
算法假设
数据的概率分布满足高斯分布或是指数型的概率分布。方差高的向量视为主元。...
分类：
其他好文 时间：
2014-07-29 14:32:48
阅读次数：
196
想把一些对象的距离关系显示在图上，对象特征是很多维的，而显示通常用二维平面或三维立体图。于是先用PCA将特征降成两维，然后两维分别作横轴和纵轴。这里PCA用的MATLAB降维工具箱drtoolbox，这样在平面上的一个关系就可以显示出来了。mappedX = compute_mapping(X, 'PCA', 1); 另外每个对象还有个相应的值，相当于还有一维信息想表示出来。除了用三维图，也可以...
分类：
其他好文 时间：
2014-07-26 15:07:10
阅读次数：
239
在上一篇博文中，我们对KNN算法思想及流程有了初步的了解，KNN是采用测量不同特征值之间的距离方法进行分类，也就是说对于每个样本数据，需要和训练集中的所有数据进行欧氏距离计算。这里简述KNN算法的特点：优点：精度高，对异常值不敏感，无数据输入假定缺点：计算复杂度高，空间复杂度高适用数据范围：数值.....
分类：
编程语言 时间：
2014-07-26 14:52:00
阅读次数：
361
机器学习新手，接触的是《机器学习实战》这本书，感觉书中描述简单易懂，但对于python语言不熟悉的我，也有很大的空间。今天学习的是k-近邻算法。 1. 简述机器学习 在日常生活中，人们很难直接从原始数据本身获得所需信息。而机器学习就是把生活中无序的数据转换成有用的信息。例如，对于垃圾邮件的检...
分类：
编程语言 时间：
2014-07-22 23:37:57
阅读次数：
366
