本小节阅读：
MLAPP：第三章
CS229：Naive bayes
贝叶斯概念学习
我们考虑一个小孩学习一个词的过程，比如“狗”。大概是小孩的父母指出了这个词的一些正例，比如说：“看那条可爱的狗”或者“记住那条小狗”等等。然而，他们是不太可能提供如“看那条不是狗的东西”的负例。当然，负例也可能在动态学习的过程中接触到，比如父母可能纠正小孩的错误：“那是一只猫，不是一条狗。” —...
分类：
系统相关 时间：
2015-08-01 19:03:59
阅读次数：
374
机器学习的数学基础（1）--Dirichlet分布这一系列（机器学习的数学基础）主要包括目前学习过程中回过头复习的基础数学知识的总结。基础知识：conjugate priors共轭先验 共轭先验是指这样一种概率密度：它使得后验概率的密度函数与先验概率的密度函数具有相同的函数形式。它极大地简化了贝叶....
分类：
其他好文 时间：
2015-06-19 21:24:27
阅读次数：
137
了解LDA需要明白如下数学原理：
一个函数：gamma函数
四个分布：二项分布、多项分布、beta分布、Dirichlet分布
一个概念和一个理念：共轭先验和贝叶斯框架
两个模型：pLSA、LDA（文档-主题，主题-词语）
一个采样：Gibbs采样...
分类：
其他好文 时间：
2015-01-13 10:32:11
阅读次数：
185
1、多项式分布 2、文本的多项式分布建模3、共轭先验4、概率平滑｛Lapace平滑、加1平滑、Dirichlet贝叶斯平滑、2阶段语言模型｝5、似然函数6、log似然函数7、期望最大化算法8、条件概率9、贝叶斯全公式10、生成模型11、判别模型12、条件期望13、拉格朗日系数14、VSM，LSI，P...
分类：
其他好文 时间：
2014-10-19 21:18:18
阅读次数：
198
Bayes公式告诉我们\begin{align*} p(y|x) = \frac{p(x|y)p(y)}{p(x)} \end{align*}其中$p(y)$被称为先验分布，是我们对随机变量$y$的初始信念；$p(x|y)$被称作似然，它表示的是在给定$y$的条件下$x$的概率，这个可从观测数据.....
分类：
其他好文 时间：
2014-09-02 02:38:33
阅读次数：
219
转http://blog.csdn.net/jwh_bupt/article/details/8841644这一系列（机器学习的数学基础）主要包括目前学习过程中回过头复习的基础数学知识的总结。基础知识：conjugate
priors共轭先验 共轭先验是指这样一种概率密度：它使得后验概率的密度函数....
分类：
其他好文 时间：
2014-06-08 21:06:32
阅读次数：
439
如果你读过贝叶斯学习方面的书或者论文，想必是知道共轭先验这个名词的。现在假设你闭上眼睛，你能准确地说出共轭分布是指哪个分布和哪个分布式共轭的吗？我之前就常常把这个关系弄错，现在记录如下，以加强印象。贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响，而引入先验信息的手段有“...
分类：
其他好文 时间：
2014-05-09 13:21:33
阅读次数：
271
