在信息论和概率论中，KL散度描述两个概率分布$P$和$Q$之间的相似程度。 定义为： $$ D(p||q)=\sum\limits_{i=1}^np(x)\log\frac{p(x)}{q(x)}. $$ ...
分类：
Web程序 时间：
2018-10-27 21:08:12
阅读次数：
467
主题模型 主题模型理理论 直观版 标准版 公式版实战 一眼看穿『希拉?里里邮件门』 什么是主体模型？ 理论解释 理理解整个过程，涉及到?比较复杂数学推导。一般来说，从公式1?一直推导到公式100，大部分同学会在公式10左右的时候，就关了了直播，洗洗睡了了所以，我今天?用3个不不同版本的讲解，从简单到 ...
分类：
其他好文 时间：
2018-10-27 18:05:21
阅读次数：
205
1. 问题 给定一系列不重叠的矩形，在这些矩形中随机采样一个整数点。 2. 思路 （1）一个矩形的可采样点个数就相当于它的面积，可以先依次对每个矩形的面积累加存起来（相当于概率分布中的分布累积函数CDF，Cumulative Distribution Function）。 （2）从 [1, 总面积] ...
分类：
移动开发 时间：
2018-10-27 14:51:52
阅读次数：
220
1、模式识别的方法分为：生成式模型(Generative Model)和判别式模型(Discrimitive) 1)生成式模型 对于输入x和类别标签y：生成式模型主要是估计它们的联合概率分布P(x,y) 主要的方法有：Gaussians、 Naive Bayes、Mixtures of Multin ...
分类：
其他好文 时间：
2018-10-27 00:10:52
阅读次数：
145
1.1.35模拟投骰子。以下代码能够计算每两个骰子之和的准确概率分布：public class Test{ public static void main(String[] args) { int SIDES=6; double[] dist=new double[2*SIDES+1]; for ( ...
分类：
其他好文 时间：
2018-10-25 12:11:37
阅读次数：
166
知识点：伯努利分布、二项式分布、多项式分布、先验概率，后验概率，共轭分布、贝塔分布、贝塔-二项分布、负二项分布、狄里克雷分布，伽马函数、分布 一，伯努利分布(bernouli distribution) 又叫做0-1分布，指一次随机试验，结果只有两种。也就是一个随机变量的取值只有0和1。 记为：0- ...
分类：
其他好文 时间：
2018-10-05 22:38:56
阅读次数：
191
主题模型 主题模型这样理解一篇文章的生成过程： 1、 确定文章的K个主题。 2、 重复选择K个主题之一，按主题-词语概率生成词语。 3、 所有词语组成文章。 这里可以看到，主题模型仅仅考虑词语的数量，不考虑词语的顺序，所以主题模型是词袋模型。 主题模型有两个关键的过程： 1、 doc -> topi ...
分类：
其他好文 时间：
2018-10-05 21:04:33
阅读次数：
185
二维Gibbs Sampling算法 Gibbs Sampling是高维概率分布的MCMC采样方法。二维场景下，状态(x, y)转移到(x’, y’)，可以分为三种场景 （1）平行于y轴转移，如上图中从状态A转移到状态B。 （2）平行于x轴转移，如上图中从状态A转移到状态C。 （3）其他情况转移，如 ...
分类：
其他好文 时间：
2018-10-05 10:42:20
阅读次数：
135
特征工程是机器学习当中很重要的部分，可以帮助我们设计、创建新特征，以便模型从中提取重要相关性。本文将记录并持续更新相关特征工程的工具包介绍，包括自动模型选择和超参数调优等各方面。 · Featuretools Featuretools 是一个开源的Python 库，用于自动化特征工程。自动特征工程能 ...
分类：
其他好文 时间：
2018-09-27 22:17:06
阅读次数：
431
torch.distributions.Categorical() 功能：根据概率分布来产生sample，产生的sample是输入tensor的index 如： >>> m = Categorical(torch.tensor([ 0.25, 0.25, 0.25, 0.25 ])) >>> m.s ...
分类：
其他好文 时间：
2018-09-23 16:26:33
阅读次数：
2068
