指数分布族 首先需要提及下指数分布族，它是指一系列的分布，只要其概率密度函数可以写成下面这样的形式：\(\begin{aligned} p(y;\eta)=b(y)exp(\eta^TT(y)-a(\eta))\end{aligned}\) 一般的很多分布（如高斯分布，泊松分布，二项式分布，伽马.....
分类：
其他好文 时间：
2015-04-13 18:40:56
阅读次数：
152
Maximum Likelihood 最大似然估计这个算法解决的问题是，当我们知道一组变量的密度分布函数与从总体采样的个体的时候，需要估计函数中的某些变量。假设概率密度函数如下：一般来说，为了计算的方便性，我们会采取对数的方式现在的目标是要使得上面函数取最大值，自变量为Θ，并且可以是一个向量。求上面...
分类：
其他好文 时间：
2015-04-01 23:13:56
阅读次数：
178
区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
引言
广义逆高斯作为一种含义丰富的概率分布，其参数为特定值时又衍生出几种经典有用的分布，现做一整理介绍。
广义逆高斯分布(Generalized Inverse Gaussian Distribution)
广义逆高斯分布的概率密度函数为：
其中，Kp是a>0且b>0的第二类修正贝塞尔函数(Modified Bessel function of the seco...
分类：
其他好文 时间：
2015-01-23 18:30:16
阅读次数：
221
高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。 对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相差比较大...
分类：
其他好文 时间：
2014-12-19 11:37:46
阅读次数：
826
今天，我要介绍我们早就知道的一种分布，它叫做高斯分布。高斯分布在概率论中算是比较核心的一种分布了，而在机器学习中，高斯分布也随处可见，比如单高斯模型，高斯混合模型，高斯过程等等，它们都是基于高斯分布的。作为理解连续性随机变量的基础和深入理解在机器学习中的广泛应用，高斯分布是十分有必要学习的。
高斯分布又叫做正态分布，高斯分布概率密度函数的函数形式是由德国著名的天才数学家、统计学家、物理学家...
分类：
其他好文 时间：
2014-12-02 11:50:57
阅读次数：
262
本文就高斯混合模型（GMM,Gaussian Mixture Model）参数如何确立这个问题，详细讲解期望最大化（EM,Expectation Maximization）算法的实施过程。单高斯分布模型GSM多维变量X服从高斯分布时，它的概率密度函数PDF为：x是维度为d的列向量，u是模型期望，Σ是...
分类：
其他好文 时间：
2014-11-27 12:21:23
阅读次数：
163
阅读目的：理解quick shift，同时理解mean shift原理，mean shift用于图像聚类，优点是不需要指定聚类中心个数，缺点是计算量太大（原因）。mean shift主要用来寻找符合一些数据样本的模型，证明样本符合某一概率密度函数（PDF），是一种非参数迭代算法能够寻找模型和聚类。数...
分类：
其他好文 时间：
2014-10-31 23:38:54
阅读次数：
389
数学基础（2节课）微积分极限，e，导数，微分，积分偏导数，方向导数，梯度极值，多元函数极值，多元函数泰勒展开无约束优化，约束优化拉格朗日乘子，对偶问题线性代数矩阵，行列式，初等变换线性相关，线性无关秩，特征值，特征向量正交向量、正交矩阵矩阵分解概率随机变量，概率密度函数，分布函数条件概率，全概率公式...
分类：
其他好文 时间：
2014-10-30 10:16:09
阅读次数：
185
正态分布（Normal distribution）又名高斯分布（Gaussiandistribution）。若随机变量X服从一个数学期望为μ、方差为σ^2的高斯分布，记为N(μ，σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。我们通常所说的标准正态分布是μ = ...
分类：
编程语言 时间：
2014-10-24 01:39:46
阅读次数：
348
