PCA最大化单个维度的区分性，减少维度之间的影响。区分性度量：方差维度之间影响：协方差因此用矩阵表示之后就是协方差矩阵的特征值和特征向量。1.构造矩阵。2.求出矩阵的协方差矩阵。3.求出协方差矩阵的特征值和特征向量，即在这些方向上不变。4.选出其中的几个方向能够比较完整表示所有的向量。5.计算在新坐标轴上的坐标ref:http://www.cnblogs.com/CBDoctor/archive/...
分类：
其他好文 时间：
2016-05-13 02:36:08
阅读次数：
141
概率统计
概率统计与机器学习的关系
统计量
期望
方差与协方差
重要定理和不等式
Jensen不等式
切比雪夫不等式
大数定理
中心极限定理以下内容摘抄于七月算法（julyedu.com）4 月机器学习算法班课堂讲义概率统计概率统计与机器学习的关系统计量期望
概念 性质 方差与协方差方差
协方差
协方差与独立/不相关
协方差的意义
重要定理和不等式Jensen不等式从概率的角度看Jensen...
分类：
编程语言 时间：
2016-05-06 15:00:15
阅读次数：
197
目录 1 描述性统计是什么？2 使用NumPy和SciPy进行数值分析 2.1 基本概念 2.2 中心位置（均值、中位数、众数） 2.3 发散程度（极差，方差、标准差、变异系数） 2.4 偏差程度（z-分数） 2.5 相关程度（协方差，相关系数） 2.6 回顾3 使用Matplotlib进行图分析 ...
分类：
其他好文 时间：
2016-04-29 22:10:28
阅读次数：
2767
在介绍因子分析时，我们把数据 x∈Rn 建模在 k 维子空间上，k<<n。我们假设每个点 x(i) 是这样生成的：先从 k 维高斯多元高斯分布中采样得到 z(i)，再通过计算 μ+Λz(i) 将 z 映射到 n 维空间，给 μ+Λz(i) 增加协方差噪声 ψ，得到 x(i)。因子分析是基于概率模型， ...
分类：
其他好文 时间：
2016-04-25 09:19:15
阅读次数：
127
主成分分析 Pearson于1901年提出，再由Hotelling（1933）加以发展的一种多变量统计方法通过析取主成分显出最大的个别差异，也用来削减回归分析和聚类分析中变量的数目可以使用样本协方差矩阵或相关系数矩阵作为出发点进行分析成分的保留：Kaiser主张（1960）将特征值小于1的成分放弃， ...
分类：
其他好文 时间：
2016-04-23 18:05:51
阅读次数：
167
1白噪声过程: 零均值，同方差，无自相关（协方差为0） 以后我们遇到的efshow如果不特殊说明，就是白噪声过程。 对于正态分布而言，不相关即可推出独立，所以如果该白噪声如果服从正态分布，则其还将互相独立。 以后我们遇到的efshow如果不特殊说明，就是白噪声过程。 对于正态分布而言，不相关即可推出 ...
分类：
其他好文 时间：
2016-04-18 01:03:10
阅读次数：
789
协方差与相关系数 协方差 二维随机变量（X，Y），X与Y之间的协方差定义为： Cov(X,Y)=E{[X-E(X)][Y-E(Y)]} 其中：E(X)为分量X的期望，E(Y)为分量Y的期望 协方差Cov(X,Y)是描述随机变量相互关联程度的一个特征数。从协方差的定义可以看出，它是X的偏差【X-E(X ...
分类：
其他好文 时间：
2016-04-16 09:32:01
阅读次数：
250
本文讲的主要内容是协方差以及协方差矩阵。 在统计学中，我们见过的最基本的三个概念是均值，方差，标准差。假定给定了n个样本的集合，那么公式如下 均值是描述样本的平均值，标准差描述的是样本集合的各个点到均值距离的平均，体现了样本的散步程度。而方 差仅仅是标准差的平方。 实际上，上述的方差是针对一维数据的 ...
分类：
其他好文 时间：
2016-04-12 20:54:24
阅读次数：
141
一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 涉及到概率的一个重要的操作是寻找函数的加权平均值。在概率分布p(x)下,函数f(x)的平均值被称为 ...
分类：
其他好文 时间：
2016-04-02 20:14:46
阅读次数：
149
协方差的意义和计算公式 学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。 很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们 ...
分类：
其他好文 时间：
2016-04-02 00:45:54
阅读次数：
194
