1.离解数据与离散分布 离解数据通常是那些只能用整数表现的数据。比如某省的人口数，宇宙中单位体积内的星球个数等。1.1统计中常见的描述离散型数据的离散分布： 1.退化分布：一个随机变量X以概率1取某一常数，即P{X=a}=1，则称X服从a处的退化分布。确定分布。 2.两点分布：一个随机变量只有两.....
分类：
其他好文 时间：
2015-08-29 23:15:43
阅读次数：
410
第11章 条件随机场条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场可以用于不同的预测问题，本章主要讲述线性链(linear chain)条件随机场在标注问...
分类：
其他好文 时间：
2015-08-28 21:24:31
阅读次数：
1900
逻辑斯谛分布：设X是连续的随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数：$$F(x)=P(X\leq x)=\frac{1}{1+e^{\frac{-(x-\mu)}{\gamma}}}$$,$$f(x)=F(x)=\frac{e^{\frac{-(x-\mu)}{\gamma}}}...
分类：
其他好文 时间：
2015-08-28 19:06:05
阅读次数：
181
题目：http://www.lydsy.com/JudgeOnline/problem.php?id=3925题意：给定一个nn点mm边的无向图，没有重边和自环，每条边的权值为[0,1][0,1]之间的随机变量，求最小生成树中最大边的期望权值。
n≤10,m≤n?(n?1)2n\le10,m\le\frac{n*(n-1)}{2}。题解：根据期望的线性性，我们可以算出随机选前k小的那些边使图恰好...
分类：
其他好文 时间：
2015-08-20 01:34:14
阅读次数：
156
在分类问题中我们假设：
他们都是广义线性模型中的一个例子，在理解广义线性模型之前需要先理解指数分布族。
指数分布族（The Exponential Family）
如果一个分布可以用如下公式表达，那么这个分布就属于指数分布族：
公式中y是随机变量；h(x)称为基础度量值（base measure）；
...
分类：
其他好文 时间：
2015-08-17 08:50:25
阅读次数：
158
1.引言
作为machine learning的初学者，看到如此多的问题都能够用数学简单的进行解决，再次感觉到数学的魅力。数学不仅仅是枯燥的考试题，而是人类理解世界的一种重要的工具。所以同样在搞ml的筒子们，我认为搞好数学是关键。在machine learning中有时候要测评两个特征之间的联系的程度，举ml中一个简单的例子，现在要预测房子的价格，告诉了房子的面积X和花园的面积Y这两个特征，我们要测评一下X和Y之间的相关程度，即房子的面积和花园的面积是否有联系或者相关。那么这里就会用到了协方差，即Cov（X...
分类：
其他好文 时间：
2015-08-12 21:45:31
阅读次数：
5875
http://cos.name/2013/03/lda-math-lda-text-modeling/5. LDA 文本建模5.1 游戏规则对于上述的 PLSA 模型，贝叶斯学派显然是有意见的，doc-topic 骰子θ→m和 topic-word 骰子φ→k都是模型中的参数，参数都是随机变量，怎么...
分类：
其他好文 时间：
2015-08-02 23:18:20
阅读次数：
190
联合分布(joint distribution)无论是连续变量分布和离散变量分布都是单一随机变量，当由单一变量推广为多个变量时，就成为了联合分布。联合分布(joint distribution)描述了多个随机变量的概率分布，是对单一随机变量的自然拓展。联合分布的多个随机变量都定义在同一个样本空间中。...
分类：
其他好文 时间：
2015-08-01 23:13:41
阅读次数：
101
信息论
熵
如果离散随机变量有P（X）分布，那么x所携带的熵（信息量）：
之所以用log2来作为底，是为了方便衡量该信息可以用多少bit来表示。因为1个bit非0即1. 从上公式可以推导出：当k个状态发生的几率一样时，随机变量X所携带的熵越大。正如下图表示的伯努利分布所携带的熵随着概率变化的结果：
KL divergence
KL divergence 全称Kullbac...
分类：
系统相关 时间：
2015-07-31 20:28:17
阅读次数：
333
概率论基本概念
离散变量
概率论中的两个基本法则：加法法则和乘法法则，加法法则定义了随机变量X与条件变量Y之间的直接联系。乘法法则定义了概率学中最重要的条件概率，同时也可以叫做联合概率，因为它描述了事件X和Y同时发生的概率。
通过上面公式可以推到出条件概率公式：
进而可以得到著名的贝叶斯公式，贝叶斯公式广泛的应用于科学界，这也被称为后验概率，因为它在咱们知道...
分类：
系统相关 时间：
2015-07-29 23:03:39
阅读次数：
1124
