QDF假设样本符合高斯分布，通过估计均值与协方差矩阵，训练分类器。但是由于特征维数较高，时空复杂度较高。（协方差矩阵的维数为 特征维数*特征维数）。而且协方差矩阵往往存在不满秩无法求逆的情况（样本数《特征维数）。MQDF主要有以下改进：1、在协方差矩阵的对角线上加一个小的常量，保证矩阵的满秩（非奇异...
分类：
其他好文 时间：
2014-08-31 13:05:31
阅读次数：
241
卡尔曼滤波建立在隐马尔科夫模型上，是一种递归估计。也就是说，只需要知道上一个状态的估计值，以及当前状态的观测值，就能计算当前状态的最优估计值。
而不需要更早的历史信息。
卡尔曼滤波器的2个状态
1.最优估计
2.误差协方差矩阵
这两个变量迭代计算，初始值多少，其实没有影响。反正最后都能收敛到最优估计。
预测过程
F是状态转移矩阵，B是控制矩阵（也可以不需要）。Q是过程噪声...
分类：
其他好文 时间：
2014-08-20 18:02:32
阅读次数：
392
上一节介绍了主成分分析应用于2维数据。现在使用高维的图像数据来试试效果。
原始图像如图1所示。
图1
每个图片都是12*12的小patch，原始数据是一个144*10000的矩阵x。
在使用了PCA旋转之后，可以检查一下此时的协方差矩阵是否已经成功变成对角阵了，如图2所示。
avg=mean(x,1);
x=x-repmat(avg,size(x,1),1);
xRot = ze...
分类：
其他好文 时间：
2014-08-11 21:28:52
阅读次数：
429
参考文献：Learning Multiple Layers of Features from Tiny Images：附录
设数据集 X 的维数为 d×n ，且已经中心化
则协方差矩阵为
1/(n-1)*X*X'
我们想让这n个d维向量中任意两维都不相关，则假定去相关矩阵为W
Y = W*X
为了使W达到去相关的目的，Y*Y‘必须是对角阵，可以进一步约束Y满足
Y * Y’ = (n...
分类：
其他好文 时间：
2014-08-04 11:06:27
阅读次数：
403
算法简介
主成分分析(PrincipalComponentAnalysis,简称PCA)是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。主要用于对特征进行降维。
算法假设
数据的概率分布满足高斯分布或是指数型的概率分布。方差高的向量视为主元。...
分类：
其他好文 时间：
2014-07-29 14:32:48
阅读次数：
196
what's xxxPCAprincipal components analysis is for dimensionality reduction.主要是通过对协方差矩阵Covariance matrix进行特征分解，以得出数据的主成分（即特征向量eigenvector）与它们的权值（即特征值ei...
分类：
其他好文 时间：
2014-07-19 23:23:11
阅读次数：
241
1. PCAprincipal components analysis主要是通过对协方差矩阵Covariance matrix进行特征分解，以得出数据的主成分（即特征向量eigenvector）与它们的权值（即特征值eigenvalue）。PCA是最简单的以特征量分析多元统计分布的方法。其结果可以理...
分类：
其他好文 时间：
2014-07-19 18:05:19
阅读次数：
190
原文：http://blog.csdn.net/songzitea/article/details/18219237引言当面对的数据被抽象为一组向量，那么有必要研究一些向量的数学性质。而这些数学性质将成为PCA的理论基础。理论描述向量运算即：内积。首先，定义两个维数相同的向量的内积为：(a1,a2,...
分类：
其他好文 时间：
2014-07-18 14:05:16
阅读次数：
339
变量说明：设为一组随机变量，这些随机变量构成随机向量 ，每一个随机变量有m个样本，则有样本矩阵（1）当中 相应着每一个随机向量X的样本向量， 相应着第i个随机单变量的全部样本值构成的向量。单随机变量间的协方差：随机变量 之间的协方差能够表示为（2）依据已知的样本值能够得到协方差的预计值例如以下： （...
分类：
其他好文 时间：
2014-07-16 18:58:35
阅读次数：
231
人脸识别中矩阵的维数n>>样本个数m。计算矩阵A的主成分，根据PCA的原理，就是计算A的协方差矩阵A'A的特征值和特征向量，但是A'A有可能比较大，所以根据A'A的大小，可以计算AA'或者A'A的特征值，原矩阵和其转置矩阵的特征值是一样的，只是特征向量不一样。假如我们的数据按行存放，A是m*n的矩阵...
分类：
其他好文 时间：
2014-07-01 00:50:18
阅读次数：
506
