朴素贝叶斯法基于 1.贝叶斯定理 2.特征条件独立假设 用于分类的特征在类（y）确定的情况下是条件独立的 输入： 过程： 1.学习先验概率 2.学习条件概率分布（条件独立性假设） 其中： （极大似然估计） 3.根据贝叶斯公式，计算后验概率 带入条件概率公式： 上式中，分母是一样的，当k取不同值时分子 ...
分类：
其他好文 时间：
2018-01-11 15:35:25
阅读次数：
104
知乎上这篇文章介绍的比较形象：https://www.zhihu.com/question/24124998 先比较下概率和似然，把硬币的"花"出现的概率称为硬币的参数 1. 概率VS似然 1.1 概率 已知硬币的参数，就可以去推测抛硬币的各种情况的可行性，成称之为概率 比如已知硬币是公平的，也就是 ...
分类：
其他好文 时间：
2017-10-29 18:43:25
阅读次数：
141
讨论课提纲： 自我介绍 简单说一下回归的主要问题，给定数据集，找出输入和输出之间的关系，对于一个新的输入可以预测其输出 我们将从两个角度来讨论这个问题，一个是传统的频率学派，利用极大似然估计进行分析，首先利用极大似然估计估计参数，并找出其与最小二乘法之间的联系，然后从几何角度理解最小二乘法。因为样本 ...
分类：
其他好文 时间：
2017-10-29 11:21:34
阅读次数：
197
一、EM算法的预备知识 1、极大似然估计 （1）举例说明：经典问题——学生身高问题 我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他们按照性别划分为两组，然后先统计抽样得到的100个男生的身高。假设他们的身高是服从高斯分布的。但是 ...
分类：
编程语言 时间：
2017-09-12 15:53:23
阅读次数：
188
朴素贝叶斯分类 1，基本概念 2，算法流程 关键点：理解先验概率，条件概率，最大后验概率，下面是以极大似然估计的 3，算法改进（贝叶斯估计） 上述用极大似然估计可能会出现所要估计的概率值为0的情况，改进方法: 先验概率贝叶斯估计：K表示类别数，λ为参数：0时为极大似然估计；1时为拉普拉斯平滑 条件概 ...
分类：
其他好文 时间：
2017-09-02 20:48:16
阅读次数：
184
正式学习之前，所需要的预备知识（主要是数学）应该包括：微积分（偏导数、梯度等等）、概率论与数理统计（例如极大似然估计、中央极限定理、大数法则等等）、最优化方法（比如梯度下降、牛顿-拉普什方法、变分法（欧拉-拉格朗日方程）、凸优化等等）——如果你对其中的某些名词感到陌生，那么就说明你尚不具备深入开展数 ...
分类：
其他好文 时间：
2017-08-07 19:29:03
阅读次数：
169
参考文献 从贝叶斯定理说开去 关键词：逆向概率；先验概率；后验概率 我所理解的贝叶斯定理--知乎专栏 关键词：医院病症检测中的真假阳性 似然与极大似然估计--知乎专栏 关键词：似然与概率的区别 ...
分类：
其他好文 时间：
2017-07-16 12:30:20
阅读次数：
128
对所有类型的CRF模型，包括最大熵模型，都是采用极大似然估计的方法来进行参数估计，也就是说在训练数据集$\mathcal T$上进行对数似然函数$\mathcal L$的极大化。根据上一篇《条件随机场（三）》，我们知道线性链CRF的模型为 \begin{equation} p_{\vec {\lam ...
分类：
其他好文 时间：
2017-07-01 11:00:52
阅读次数：
214
初始目的 将样本分成K个类，其实说白了就是求一个样本例的隐含类别y，然后利用隐含类别将x归类。由于我们事先不知道类别y，那么我们首先可以对每个样例假定一个y吧，但是怎么知道假定的对不对呢？怎样评价假定的好不好呢？ 我们使用样本的极大似然估计来度量，这里就是x和y的联合分布P（x,y）了。如果找到的y ...
分类：
编程语言 时间：
2017-06-19 22:15:35
阅读次数：
239
极大似然估计 上篇文章介绍了最大熵模型以及采用拉格朗日乘子法求解对偶问题，其模型的解如下， \begin{equation} P_{w}(y|x) = \frac 1 {Z_{w}(x)} \exp {\left( \sum\limits_{i=1}^n w_{i} f_{i}(x,y) \righ ...
分类：
其他好文 时间：
2017-06-14 16:08:00
阅读次数：
180
