先列明材料：高斯混合模型的推导计算（英文版）：http://www.seanborman.com/publications/EM_algorithm.pdf这位翻译写成中文版：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.ht...
分类：
编程语言 时间：
2014-11-29 20:14:51
阅读次数：
182
本文内容主要参考Steven M.Kay的《统计信号处理基础——估计与检测理论》，该书中译本分类为“国外电子与通信教材系列”，应该会有一定局限性。本文是我看过该书后的一点点总结。1.从最大似然估计看经典估计理论 最大似然估计（Maximum Likelihood Estimation，MLE）是一种...
分类：
其他好文 时间：
2014-11-23 21:37:52
阅读次数：
193
逻辑回归（Logistic Regression）是机器学习中十分常用的一种模型，属于广义线性模型。在互联网领域得到了广泛的应用，尤其是在广告系统中用来估计CTR。本文主要介绍逻辑回归的模型形式，求解策略和算法。接着介绍逻辑回归的最大似然估计，最后说明为什么逻辑回归要采用sigmoid函数做变换。模...
分类：
其他好文 时间：
2014-11-21 18:26:10
阅读次数：
360
本文对于最大似然估计的算法进行了一个简要的讨论总结。...
分类：
其他好文 时间：
2014-11-15 18:59:07
阅读次数：
205
本文主要讨论了机器学习中的最大似然估计MLE，贝叶斯估计和最大后验估计MAP，以及它们的关系，是上一篇《机器学习浅析之最优解问题》的深入。
最大似然估计MLE
Frequentist Learning假定存在模型M，其中未知参数为.该参数的估计值为. 给定样本观察数据X，通过选择合适的θ值，可以使产...
分类：
其他好文 时间：
2014-11-10 13:29:51
阅读次数：
276
EM：最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。1 极大似然估计 假设有如图1的X所示的抽取的n个学生某门课程的成绩，又知....
分类：
编程语言 时间：
2014-10-19 21:17:00
阅读次数：
339
最大期望算法：EM算法。在统计计算中，最大期望算法（EM）是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量。最大期望算法经过两个步骤交替进行计算：第一步是计算期望（E），利用对隐藏变量的现有估计，计算其最大似然估计值；第二步是最大化（M），最大化在E步上...
分类：
编程语言 时间：
2014-10-11 16:51:56
阅读次数：
549
最大似然估计是一种非常有效的参数估计的数学方法，常用于在主题建模等领域。其思想是，对于已知的样本，假设它服从某种模型，估计模型中未知的参数，使该模型出现这些样本的概率最大。...
分类：
其他好文 时间：
2014-10-05 15:26:18
阅读次数：
173
最大似然估计： 这个我们大学学习概率一直用到的东西，其实非常牛逼！ 什么是最大似然估计？ 问题：给定一组观察数据还有一个参数待定的模型，如何来估计这个未知参数呢？ 观察数据（x1，y1）......(xn,yn) 待定模型参数为θ，模型为f（x;θ）。这时候可以借助观察数据来估计这个θ。这...
分类：
其他好文 时间：
2014-09-11 19:05:12
阅读次数：
193
1.背景 最大似然估计是概率论中常常涉及到的一种统计方法。大体的思想是，在知道概率密度f的前提下，我们进行一次采样，就可以根据f来计算这个采样实现的可能性。当然最大似然可以有很多变化，这里实现一种简单的，实际项目需要的时候可以再更改。 博主是参照wiki来学习的，地址请点击我 这里实现的是特别简单的例子如下（摘自wiki的最大似然）离散分布，离散...
分类：
编程语言 时间：
2014-08-25 11:53:54
阅读次数：
1655
