讲解教授：赵辉 (FROM : UESTC)课程：《模式识别》整理：PO主基础知识：假设空间中两点x，y，定义：欧几里得距离，Mahalanobis距离，不难发现，如果去掉马氏距离中的协方差矩阵，就退化为欧氏距离。那么我们就需要探究这个多出来的因子究竟有什么含义。第一个例子从下往上的一段50米长的坡...
分类：
其他好文 时间：
2015-01-31 16:14:15
阅读次数：
341
协方差的定义对于一般的分布，直接代入E(X)之类的就能够计算出来了，但真给你一个详细数值的分布，要计算协方差矩阵，依据这个公式来计算，还真不easy反应过来。网上值得參考的资料也不多，这里用一个样例说明协方差矩阵是怎么计算出来的吧。记住，X、Y是一个列向量，它表示了每种情况下每一个样本可能出现的数。...
分类：
其他好文 时间：
2015-01-18 13:09:54
阅读次数：
241
一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：标准差：方差：均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0, ...
分类：
其他好文 时间：
2015-01-09 16:47:45
阅读次数：
148
主成分分析（PCA）是一种基于变量协方差矩阵对数据进行压缩降维、去噪的有效方法，PCA的思想是将n维特征映射到k维上（k0时说明 X和 Y是正相关关系，协方差<0时 X和Y是负相关关系，协方差为0时 X和Y相互独立。 协方差的计算是针对两维的，对于n维的数据集，可以计算C(n,2)种协方差...
分类：
编程语言 时间：
2015-01-05 23:08:15
阅读次数：
453
主成份分析就是求出原始数据矩阵的协方差矩阵对应的特征值和特征向量，对特征值进行由大而小的排序，再根据特征值对应的特征向量进行线性变换，得到新的向量（新的向量间相互正交）。通过设定阈值可以用低维的新向量近似表示高维的原向量（协方差矩阵为非奇异的）；若协方差矩阵为奇异的，且零特征值较多，这种情况使用低维的新向量也可以完全表示高维原向量。...
分类：
其他好文 时间：
2014-12-26 16:51:22
阅读次数：
255
白化是一种重要的预处理过程，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。
白化处理分PCA白化和ZCA白化，PCA白化保证数据各维度的方差为1，而ZCA白化保证数据各维度的方差相同。PCA白化可以用于降维也可以去相关性，而ZCA白化主要用于去相关性，且尽量使白化后的数据接近原始输入数据。
1...
分类：
其他好文 时间：
2014-12-25 16:25:46
阅读次数：
312
http://www.cnblogs.com/chaosimple/p/3182157.htmlhttp://blog.csdn.net/goodshot/article/details/8611178一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样...
分类：
其他好文 时间：
2014-12-23 23:50:34
阅读次数：
338
主成份分析历史：
Pearson于1901年提出，再由Hotelling（1933）加以发展的一种多变量统计方法。通过析取主成分显出最大的个别差异，也用来削减回归分析和聚类分析中变量的数目，可以使用样本协方差矩阵或相关系数矩阵作为出发点进行分析。
通过对原始变量进行线性组合，得到优化的指标：把原先多个指标的计算降维为少量几个经过优化指标的计算（占去绝大部分份额）
基本思想：设法将原先众多具有...
分类：
编程语言 时间：
2014-12-15 10:29:54
阅读次数：
290
原文链接自从上次谈了协方差矩阵之后，感觉写这种科普性文章还不错，那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角——主成分分析(Principal Compon...
分类：
其他好文 时间：
2014-12-13 23:18:59
阅读次数：
265
问：为什么要去均值？1、我认为归一化的表述并不太准确，按统计的一般说法，叫标准化。数据的标准化过程是减去均值并除以标准差。而归一化仅包含除以标准差的意思或者类似做法。2、做标准化的原因是：减去均值等同于坐标的移动，把原始数据点的重心移到和原点重合，这样利于很多表达，比如数据的协方差矩阵可以写成XX'...
分类：
其他好文 时间：
2014-12-08 00:34:02
阅读次数：
303
