再谈协方差矩阵之主成分分析自从上次谈了协方差矩阵之后，感觉写这种科普性文章还不错，那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角——主成分分析(Princip...
分类：
其他好文 时间：
2015-07-20 18:51:45
阅读次数：
171
[转]浅谈协方差矩阵一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：标准差：方差：均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两...
分类：
其他好文 时间：
2015-07-20 12:19:52
阅读次数：
101
最近重新看了一下概率论，感觉很多东西都遗忘了，还会陷入各种误区，赶紧的纠正回来。概率论这块，主要内容包括：事件、条件概率、随机变量、随机变量的分布函数、概率密度、联合分布、期望、方差、协方差。我自己的误区总结：1.事件和随机变量首先要明确样本空间是所有可能发生的事件的集合，它由全部基本事件组成。而事...
分类：
其他好文 时间：
2015-07-18 22:31:13
阅读次数：
231
PCA要做的事降噪和去冗余，其本质就是对角化协方差矩阵。一.预备知识 1.1 协方差分析 对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么...
分类：
其他好文 时间：
2015-06-27 15:46:18
阅读次数：
150
PCA算法算法步骤：
假设有m条n维数据。
1. 将原始数据按列组成n行m列矩阵X
2. 将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值
3. 求出协方差矩阵C=1/mXXT
4. 求出协方差矩阵的特征值以及对应的特征向量
5. 将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P
6. Y=PX即为降维到k维后的数据实例
以这个为例，我们用PCA...
分类：
编程语言 时间：
2015-06-20 10:38:22
阅读次数：
448
降维（一）----说说主成分分析(PCA)的源头降维系列：降维（一）----说说主成分分析(PCA)的源头降维（二）----Laplacian Eigenmaps---------------------主成分分析（PCA）在很多教程中做了介绍，但是为何通过协方差矩阵的特征值分解能够得到数据的主成分...
分类：
其他好文 时间：
2015-06-19 21:29:49
阅读次数：
199
意义和公式的协方差概率统计研究孩子知道，在最重要的概念的统计是样品平均值，方差，或带有标准偏差一起。首先，我们会给您一个含n采集样本，叙述，这些高中学过数学的孩子都应该知道吧，一带而过。均值：标准差：方差：非常显然，均值描写叙述的是样本集合的中间点，它告诉我们的信息是非常有限的。而标准差给我们描写叙...
分类：
其他好文 时间：
2015-06-16 14:18:59
阅读次数：
103
卡尔曼滤波器包括5个方程。分别是先验和后验方程，其中先验方程有两个，一个是预测值方程，一个是预测值协方差方程。后验方程有三个，一个后验校正方程，一个后验增益方程，一个后验协方差方程。以下是摘录
分类：
其他好文 时间：
2015-06-16 12:54:12
阅读次数：
154
首先将本节主要内容记录下来，然后给出课后习题的答案。
笔记：
1：首先我想推导用SVD求解PCA的合理性。
PCA原理：假设样本数据X∈Rm×n，其中m是样本数量，n是样本的维数。PCA降维的目的就是为了使将数据样本由原来的n维降低到k维(k＜n)。方法是找数据随之变化的主轴，在Andrew
Ng的网易公开课上我们知道主方向就是X的协方差所对应的最大特征值所对应的特征向量的...
分类：
其他好文 时间：
2015-06-09 11:56:02
阅读次数：
200
