如何理解K-L散度（相对熵） Kullback-Leibler Divergence，即K-L散度，是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵。在概率学和统计学上，我们经常会使用一种更简单的、近似的分布来替代观察数据或太复杂的分布。K-L散度能帮助我们度量使用一个分布来近似另一个分布时所 ...
分类：
其他好文 时间：
2018-12-24 00:13:24
阅读次数：
146
这涉及到数学的概率问题。 二元变量分布： 伯努利分布，就是0-1分布(比如一次抛硬币，正面朝上概率) 那么一次抛硬币的概率分布如下： 假设训练数据如下： 那么根据最大似然估计（MLE）,我们要求u： 求值推导过程如下： 所以可以求出： 以上的推导过程就是极大似然估计，我们可以看出u就是样本出现的频率 ...
分类：
其他好文 时间：
2018-12-19 23:24:42
阅读次数：
257
在概率理论和统计学中，指数分布（也称为负指数分布）是描述泊松过程中的事件之间的时间的概率分布，即事件以恒定平均速率连续且独立地发生的过程。主要表示独立随机事件发生的时间间隔。连续概率分布fromscipy.statsimportexponimportnumpyasnpimportmatplotlib.pyplotaspltlam=0.5x=np.arange(0,15,0.1)y=expon.pd
分类：
编程语言 时间：
2018-12-11 19:47:47
阅读次数：
175
loc平均值scale(scale)标准差pdf(x,loc=0,scale=1)正态分布（Normaldistribution），也称“常态分布”，又名高斯分布（Gaussiandistribution），最早由A.棣莫弗在求二项分布的渐近公式中得到。C.F.高斯在研究测量误差时从另一个角度导出了它。P.S.拉普拉斯和高斯研究了它的性质。是一个在数学、物理及工程等领域都非常重要的概率分布，在统计
分类：
编程语言 时间：
2018-12-10 23:29:18
阅读次数：
224
更一波奇怪的东西…… 核外电子运动状态 电子运动特点： 质量小、运动范围小（r约为$1.0×10^{ 10}$米）高速（接近光速） 电子云 核外电子的运动与宏观物体不同，不能确定某一状态的电子在某个时刻处在核外空间何处。 只能确定电子在原子核外各处出现的概率。 若用点来统计电子在原子核外各处出现的多 ...
分类：
其他好文 时间：
2018-12-08 21:14:50
阅读次数：
301
本文是LDA主题模型的第二篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了基于MCMC的Gibbs采样算法，如果你对MCMC和Gibbs采样不熟悉，建议阅读之前写的MCMC系列MCMC(四)Gibbs采样。 1. Gibbs采样算法求解LDA的思路 首先，回顾LDA的模 ...
分类：
编程语言 时间：
2018-12-04 13:06:33
阅读次数：
147
HMM模型： 将标注看作马尔可夫链，一阶马尔可夫链式针对相邻标注的关系进行建模，其中每个标记对应一个概率函数。HMM是一种生成模型，定义了联合概率分布，其中 x 和 y 分别表示观察序列和相对应的标注序列的随机变量。为了能够定义这种联合概率分布，生成模型需要枚举出所有可能的观察序列，这在实际运算过程 ...
分类：
其他好文 时间：
2018-12-03 17:18:55
阅读次数：
524
一，一维高斯分布 N（μ，δ2） 二，多维高斯分布 二维高斯分布，这时的随机变量组成了随机向量：v=[x,y]T。 图2.1 图2.2 注意：这两种图的区别。2.1图是二维高斯分布的各采样点的分布，这些点是二维分布的高斯点，通过点的疏密才能看出分布概率的大小。2.2图是二维高斯分布点和点的概率分布图 ...
分类：
其他好文 时间：
2018-11-29 15:06:40
阅读次数：
251
决策树 决策树是一种基本的分类和回归方法.决策树顾名思义,模型可以表示为树型结构,可以认为是if then的集合,也可以认为是定义在特征空间与类空间上的条件概率分布. [图片上传失败...(image 2e6565 1543139272117)] 决策树的中间节点可以看做是对一种特征的判断,也是符合 ...
分类：
其他好文 时间：
2018-11-25 20:43:30
阅读次数：
292
在 "《贝叶斯之朴素理解》" 比较详细地总结了一个朴素贝叶斯。这里再对非朴素贝叶斯做一个小结，以了结贝叶斯分类。 1、非朴素贝叶斯公式 1.1 高维高斯分布 在此之前，我们同样先需准备一些数学知识， 高维高斯概率分布 ，或者也叫做联合高斯概率分布，它有如下公式 $$ p(\mathbf{x})=\f ...
分类：
其他好文 时间：
2018-11-20 11:30:39
阅读次数：
187
