背景看到有人在问这个问题，拿来算算。
自从有了CSDN-MarkDown之后，写博客舒服多了，尤其是数学公式部分。原理推荐的参考书是:
Schaum’s outline of Probability and Statistics, 3rd Edition, 2009; 科学出版社2002年翻译出版了该书的第二版，所以有中文版。Continuous Variables
Theorem: Let X...
分类：
其他好文 时间：
2015-06-26 16:18:37
阅读次数：
728
问题：将二元正态分布的概率密度函数改写成矩阵-向量形式改写：
设(X1,X2)(X_1, X_2)是二元正态变量，其密度函数为：
即：(X1,X2)(X_1, X_2) ~ N(μ1,μ2,σ21,σ22,ρ)N(\mu_1, \mu_2, \sigma_1^2,\sigma_2^2,\rho)
其中：ρ\rho是相关系数
令：x=(x1,x2)Tx = (x_1, x_2)^T
μ=(μ...
分类：
其他好文 时间：
2015-06-21 15:49:26
阅读次数：
278
基本思想
所谓粒子滤波就是指：通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数，用样本均值代替积分运算，进而获得系统状态的最小方差估计的过程，这些样本被形象的称为“粒子”，故而叫粒子滤波。采用数学语言描述如下: 对于平稳的随机过程, 假定k - 1 时刻系统的后验概率密度为p ( xk-1 zk-1 ) , 依据一定原则选取n 个随机样本点, k 时刻获得测量信息后, 经过状态...
分类：
其他好文 时间：
2015-06-20 17:09:46
阅读次数：
981
5.1R内置的分布分布是描述一个样本数据最核心、最重要的方式。R内嵌了很多常用的统计分布，提供了四类函数:概率密度函数(density),累积分布函数(probability)、分位数(quantile)和伪随机数(random)。在R中分别用d,p,q,r表示这4个项目，后面接分布的英文名称或缩写...
分类：
编程语言 时间：
2015-05-19 00:23:40
阅读次数：
538
数据挖掘中的高斯分布高斯分布，无论是单变量还是多元变量，在统计数据挖掘中是非常有用的，包括一些底层数据假设是高度非高斯的数据挖掘模型。我们需要好好了解多元高斯。为什么我们应该关注它
高斯像橘子汁和阳光一样是自然存在的
我们需要它来理解贝叶斯最优分类器
我们需要它来理解回归
我们需要它来理解神经网络
我们需要它来理解混合模型
……
PDF（概率密度函数）的熵
分布的熵越大，预测就越困难，压缩就越困难...
分类：
其他好文 时间：
2015-05-13 19:56:26
阅读次数：
336
本文讲解的不是离散、连续分布的一些性质如：方差、期望和概率密度函数pdf(若为离散分布，则是概率质量函数pmf)等。本文要讲解的是如何通过均匀分布来产生其他各种分布的方法。尽管很多编程语言的函数库中包含了这些分布函数：
在matlab中，我们可以看到关于这些函数的详细文档及使用方法：
在linux C下，GNU有一个名字叫GUN Scientific Library的库，里面有各种分布函数...
分类：
其他好文 时间：
2015-05-09 11:41:35
阅读次数：
190
事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于 density estimation ），简单地说，k-means 的结果是每个数据点被 assign 到其中某一个 cluster 了，而 GMM 则给出这些数据点被 assign 到每个 cluster 的概率，又称作 soft assignment 。...
分类：
编程语言 时间：
2015-05-08 18:10:52
阅读次数：
367
一、简介 首先扯扯无参密度估计理论，无参密度估计也叫做非参数估计，属于数理统计的一个分支，和参数密度估计共同构成了概率密度估计方法。参数密度估计方法要求特征空间服从一个已知的概率密度函数，在实际的应用中这个条件很难达到。而无参数密度估计方法对先验知识要求最少，完全依靠训练数据进行估计，并且可以用于任...
分类：
编程语言 时间：
2015-05-05 21:26:41
阅读次数：
520
本实验的目的是学习Parzen窗估计和k最近邻估计方法。在之前的模式识别研究中，我们假设概率密度函数的参数形式已知，即判别函数J(.)的参数是已知的。本节使用非参数化的方法来处理任意形式的概率分布而不必事先考虑概率密度的参数形式。在模式识别中有躲在令人感兴趣的非参数化方法，Parzen窗估计和k最近邻估计就是两种经典的估计法。这里使用Matlab实现这两种估计方法。...
分类：
其他好文 时间：
2015-04-25 22:54:04
阅读次数：
1933
在之前的模式识别研究中，判别函数J(.)的参数是已知的，即假设概率密度函数的参数形式已知。本节不考虑概率密度函数的确切形式，使用非参数化的方法来求解判别函数。由于线性判别函数具有许多优良的特性，因此这里我们只考虑以下形式的判别函数：它们或者是x的各个分量的线性函数，或者是关于以x为自变量的某些函数的线性函数。...
分类：
其他好文 时间：
2015-04-23 11:03:19
阅读次数：
1147
