这涉及到数学的概率问题。 二元变量分布： 伯努利分布，就是0-1分布(比如一次抛硬币，正面朝上概率) 那么一次抛硬币的概率分布如下： 假设训练数据如下： 那么根据最大似然估计（MLE）,我们要求u： 求值推导过程如下： 所以可以求出： 以上的推导过程就是极大似然估计，我们可以看出u就是样本出现的频率 ...
分类：
其他好文 时间：
2018-12-19 23:24:42
阅读次数：
257
最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。 ...
分类：
其他好文 时间：
2018-12-16 11:10:07
阅读次数：
114
EM算法：让期望最大化的算法最大似然估计：已知：样本服从分布的模型 观测到的样本求解：模型的参数 极大似然估计是用来估计模型参数的统计学方法 就是什么参数能使得样本符合这么一个模型最大似然函数：什么样的参数使得出现当前这批样本概率最大 利用结果推出参数的最大值 问题提升：有两个类别，这两个类别都服从 ...
分类：
编程语言 时间：
2018-11-26 20:58:40
阅读次数：
23591
MAP：最大后验概率（Maximum a posteriori） 估计方法根据经验数据获得对难以观察的量的点估计。它与最大似然估计中的 Fisher方法有密切关系， 但是它使用了一个增大的优化目标，这种方法将被估计量的先验分布融合到其中。所以最大后验估计可以看作是规则化（regularization ...
分类：
其他好文 时间：
2018-10-16 19:24:39
阅读次数：
125
Map （最大后验） 在贝叶斯统计学中，最大后验（Maximum A Posteriori，MAP）估计可以利用经验数据获得对未观测量的点态估计。它与Fisher的最大似然估计（Maximum Likelihood，ML）方法相近，不同的是它扩充了优化的目标函数，其中融合了预估计量的先验分布信息，所 ...
分类：
其他好文 时间：
2018-09-04 13:40:31
阅读次数：
307
贝叶斯决策 首先来看贝叶斯分类，我们都知道经典的贝叶斯公式： 其中：p(w)：为先验概率，表示每种类别分布的概率，P（X|W）：类条件概率，表示在某种类别前提下，某事发生的概率；而P（W|X）为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。后验概率越 ...
分类：
其他好文 时间：
2018-08-30 00:13:00
阅读次数：
165
参考： 从最大似然到EM算法浅解 （EM算法）The EM Algorithm EM算法的九层境界：Hinton和Jordan理解的EM算法 在EM算法的证明中，其实比较好理解，总结如下： 从最大似然估计出发 > 将隐变量暴露出来，写出累加/积分的 形式 > 引入Q(z),表示隐变量z的概率密度函数 ...
分类：
编程语言 时间：
2018-08-20 00:28:07
阅读次数：
8398
【机器学习基本理论】详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解 https://mp.csdn.net/postedit/81664644 最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a ...
分类：
其他好文 时间：
2018-08-14 14:59:59
阅读次数：
207
1、EM算法要解决的问题 如果使用基于最大似然估计的模型，模型中存在隐变量，就要用EM算法做参数估计。 EM算法解决这个的思路是使用启发式的迭代方法，既然我们无法直接求出模型分布参数，那么我们可以先猜想隐含数据（EM算法的E步），接着基于观察数据和猜测的隐含数据一起来极大化对数似然，求解我们的模型参 ...
分类：
编程语言 时间：
2018-08-09 23:14:09
阅读次数：
167
