LDA是一个关于语料的生成概率模型，基本思想是文档可以表达为隐含主题的随机混合，每个主题刻画为关于词语的分布。LDA假设在语料D中生成一篇文章w的过程如下：1.根据泊松分布选在文章长度N2. 选择主题分布3. 对于每一个词Wn (a)根据多项式分布选择一个主题 (b)根据多项式条件概率分布选...
分类：
其他好文 时间：
2014-06-18 21:00:30
阅读次数：
275
CONTINUOUS RANDOM VARIABLES AND PDFS
连续的随机变量，顾名思义，就是随机变量的取值范围是连续的值，例如汽车的速度，气温。如果我们要利用这些参数来建模，那么就需要引入连续随机变量。
如果随机变量X是连续的，那么它的概率分布函数可以用一个连续的非负函数来表示，这个非负函数称作连续随机变量的概率密度函数（probability density function）...
分类：
其他好文 时间：
2014-06-16 14:19:36
阅读次数：
285
1. 概述
前面描述的神经网络模型是一种确定的结构。而波尔兹曼网络是一种随机网络。如何来描述一个随机网络呢？很多书上有大量的篇幅介绍其原理。这里把它总结为以下两点。
第一，概率分布函数。由于网络节点的取值状态是随机的，从贝叶斯网的观点来看，要描述整个网络，需要用三种概率分布来描述系统。...
分类：
其他好文 时间：
2014-06-13 15:03:25
阅读次数：
320
一、信息论基础： 熵： 联合熵：实际上就是描述一对随机变量平均所需要的信息量。
条件熵：给定随机变量 X 的情况下，随机变量 Y 的条件熵定义为： 熵率： 相对熵（KL距离）：两个概率分布 p(x) 和 q(x) 的相对熵定义为：
交叉熵：如果一个随机变量 X ~ p(x)，q(x)为用于近似 p(...
分类：
其他好文 时间：
2014-05-31 15:39:37
阅读次数：
319
摘要：有监督学习是对一类算法的研究，这类算法从表面实例推断出一般性的假说，得出的假说又可以进一步用来预测未发生的实例。换言之，有监督学习的目标，就是根据预测特征，为分类标签的概率分布建立简洁的模型。得到的分类器会被用于为测试实例贴上分类标签，其中，测试实例的分类特征是已知的，但其分类标签是未知的。本...
分类：
其他好文 时间：
2014-05-29 09:16:49
阅读次数：
210
开始学习算法导论，看书+笔记+做课后题目+做OJ计划是每天一个小时看书+写笔记挑些课后题目来做，然后一道OJ————————————————————————————————————————今天看随机算法与概率分布，又复习了一下概率论
- -讲到了两个随机算法：其中一个是随机分布优先度，然后按照优先度...
分类：
其他好文 时间：
2014-05-25 22:20:37
阅读次数：
251
之前忘记强调了一个重要区别：条件概率链式法则和贝叶斯网络链式法则的区别
条件概率链式法则
贝叶斯网络链式法则，如图1
图1
乍一看很容易觉得贝叶斯网络链式法则不就是大家以前学的链式法则么，其实不然，后面详述。
上一讲谈到了概率分布的因式分解
可以看到条件概率的独立性可以直接从概率分布表达式看出来。
我们已经用概率图模型把...
分类：
其他好文 时间：
2014-05-20 15:22:39
阅读次数：
250
概率分布（Distributions）
如图1所示，这是最简单的联合分布案例，姑且称之为学生模型。
图1
其中包含3个变量，分别是：I（学生智力，有0和1两个状态）、D（试卷难度，有0和1两个状态）、G（成绩等级，有1、2、3三个状态）。
表中就是概率的联合分布了，表中随便去掉所有包含某个值的行，就能对分布表进行缩减。
例如可以去掉所有G不为1的行，这样就只剩下了1、4、...
分类：
其他好文 时间：
2014-05-16 01:25:00
阅读次数：
331
收入囊中
灰度图像的反向投影彩色图像的反向投影利用反向投影做object detect
葵花宝典
什么是反向投影？其实没有那么高大上！
在上一篇博文学到，图像可以获得自己的灰度直方图.
反向投影差不多是逆过程，由直方图得到我们的投影图。
过程如下：
根据模版图像，得到模版图像的灰度直方图.对灰度直方图对归一化，归一化后是个概率分布，直方图的积分是1根据概率分布...
分类：
其他好文 时间：
2014-05-12 06:36:19
阅读次数：
473
上个月，参加了百度技术沙龙， 夏粉的《广告数据上的大规模机器学习》讲座介绍了大规模机器学习中的若干重要问题。遗憾的是，百度的相关算法没有公开的论文。
1. 数据处理
目标： 获取信息， 去除噪音
机器学习技术点： 选择对点击概率分布 预估足够多样本
解决方法： a. 不可见和不完整样本过滤; b. 样本采样; c. 异常样本检测
算法：a. 百度...
分类：
其他好文 时间：
2014-05-03 21:12:36
阅读次数：
378
