1. PCA整体思想PCA，Principle Componet Analysis，主成分分析，主要用于数据降维。它通过计算给定数据集的协方差矩阵的特征值和特征向量，来得到数据集最关键的方向（数据集在此方向的投影方差最大，这个能保持最多的信息），并从关键的方向中选取前k个构成k维空间，在此空间中重新...
分类：
其他好文 时间：
2014-12-07 06:28:10
阅读次数：
171
一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：标准差：方差：均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0, ...
分类：
其他好文 时间：
2014-12-06 09:58:59
阅读次数：
137
最近一个朋友问这方面的一些问题，其实之前也就很粗略的看了下fisher，真正帮别人解答问题的时候才知道原来自己也有很多东西不懂。下面小结下自己对fisher判别的理解： 其实fisher和PCA差不多，熟悉PCA的人都知道，PCA其实就是在寻找一个子空间。这个空间怎么来的呢，先求协方差矩阵，然后求这...
分类：
其他好文 时间：
2014-11-18 23:49:10
阅读次数：
688
协方差的定义对于一般的分布，直接代入E(X)之类的就能够计算出来了，但真给你一个详细数值的分布，要计算协方差矩阵，依据这个公式来计算，还真不easy反应过来。网上值得參考的资料也不多，这里用一个样例说明协方差矩阵是怎么计算出来的吧。记住，X、Y是一个列向量，它表示了每种情况下每一个样本可能出现的数。...
分类：
其他好文 时间：
2014-10-24 16:22:37
阅读次数：
238
矩阵的特征值和特征向量是线性代数以及矩阵论中非常重要的一个概念。在遥感领域也是经常用到，比如多光谱以及高光谱图像的主成分分析要求解波段间协方差矩阵或者相关系数矩阵的特征值和特征向量。根据普通线性代数中的概念，特征值和特征向量可以用传统的方法求得，但是实际项目中一般都是用数值分析的方法来计算，这里介绍一下雅可比迭代法求解特征值和特征向量。雅克比方法用于求实对称阵的全部特征值、特征向量。对于实对称阵...
分类：
编程语言 时间：
2014-10-18 17:02:51
阅读次数：
674
对于$D$维数据集$X$，若其样本$\boldsymbol{x}$服从$\mathcal{N} (\boldsymbol{x} | \boldsymbol{\mu}, \boldsymbol{A})$，那么用极大似然法对协方差矩阵$\boldsymbol{A}$进行估计时，则不可避免会遇到\be.....
分类：
其他好文 时间：
2014-10-12 04:37:17
阅读次数：
286
协方差矩阵 协方差：标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在....
分类：
其他好文 时间：
2014-10-05 23:30:09
阅读次数：
349
引言在模式识别中，经常碰到协方差矩阵这个概念，以前一直没搞懂，现在又碰到这个破玩意了，决定把他搞懂，下面就是做的笔记，与大家分享一下均值：标准差：方差：均值描述的是样本集合的样本的平均值,即平均水平.标准差给我们描述的则是样本集合的各个样本点到均值的平均距离,..
分类：
其他好文 时间：
2014-09-28 11:11:41
阅读次数：
281
协方差的定义对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给...
分类：
其他好文 时间：
2014-08-31 13:10:41
阅读次数：
253
一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：标准差：方差：均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0, ...
分类：
其他好文 时间：
2014-08-31 13:05:41
阅读次数：
167
