注：点估计是参数估计中的一种。点估计常用的方法有两种：矩估计和最大似然估计。之所以要做估计，最本质的问题是我们能获得的信息量（样本的数量）有限，因此只能在有限的信息中，用合理的方法、在可接受的精度或置信度下做近似计算，以便对总体有一个大概的认识，也就是将某种在有限样本下中获得的规律，泛化到更大的样本 ...
分类：
其他好文 时间：
2018-04-07 13:51:28
阅读次数：
175
逻辑回归的本质是最大似然估计 逻辑回归的输出是 分别表示取1和取0的后验概率。将上面两式联系起来得到 取似然函数 再取对数 最大似然估计就是求使似然函数最大的参数θ。此时可以使用梯度上升法优化代价函数 取负号和求平均后得到J函数 此时就是求使J函数最小的参数θ。接下来用梯度下降法优化。 ...
分类：
其他好文 时间：
2018-03-25 12:11:25
阅读次数：
686
参考：Fitting a Model by Maximum Likelihood 最大似然估计是用于估计模型参数的，首先我们必须选定一个模型，然后比对有给定的数据集，然后构建一个联合概率函数，因为给定了数据集，所以该函数就是以模型参数为自变量的函数，通过求导我们就能得到使得该函数值（似然值）最大的模 ...
分类：
其他好文 时间：
2018-03-24 00:38:19
阅读次数：
379
拉格朗日乘子，是机器学习里面经常要用到的。 跟最大似然，EM等方法一样，都是很常用的。 所以要好好学习。可以看着一篇： http://blog.csdn.net/lijil168/article/details/69395023 ...
分类：
其他好文 时间：
2018-02-02 21:53:54
阅读次数：
140
参考 从最大似然到 EM 算法浅解 最大似然估计学习总结 EM 算法及其推广学习笔记 之前已经总结了似然的概念，那么顺其自然的理解就是，求得似然最大值的参数即为想要的参数，也就是参数估计，使用的方法为最大似然估计。 先提出几个问题： 1.最大似然估计求参数的一般流程是怎样的？ 2.什么样的场景适合/ ...
分类：
其他好文 时间：
2018-01-22 11:59:05
阅读次数：
204
参数估计：最大似然、贝叶斯与最大后验 为什么会有参数估计呢？这要源于我们对所研究问题的简化和假设。我们在看待一个问题的时候，经常会使用一些我们所熟知的经典的模型去简化问题，就像我们看一个房子，我们想到是不是可以把它看成是方形一样。如果我们已经知道这个房子是三间平房，那么大体上我们就可以用长方体去描述 ...
分类：
其他好文 时间：
2018-01-16 00:49:56
阅读次数：
164
在讨论最大似然估计之前，我们先来解决这样一个问题：有一枚不规则的硬币，要计算出它正面朝上的概率。为此，我们做了 10 次实验，得到这样的结果：[1, 0, 1, 0, 0, 0, 0, 0, 0, 1]（1 代表正面朝上，0 代表反面朝上）。现在，要根据实验得到的结果来估计正面朝上的概率，即模型的参 ...
分类：
其他好文 时间：
2018-01-09 14:42:06
阅读次数：
163
语言模型 p(S) 就是语言模型，即用来计算一个句子 S 概率的模型。 那么，如何计算呢？最简单、直接的方法是计数后做除法，即最大似然估计（Maximum Likelihood Estimate，MLE），如下： 其中，count(w1,w2,…,wi?1,wi) 表示词序列(w1,w2,…,wi? ...
分类：
编程语言 时间：
2017-12-25 15:05:33
阅读次数：
207
理解略肤浅，所以该博文更适合像我一样的初学者，所以大牛勿喷！当然哪里有不合适的地方，欢迎指正，万分感谢！！ 1、什么是估计 通过样本去估计总体 2、参数估计 。。。我理解就是估计参数，可以是总体期望，也可以是总体方差。根据对象是一个值，还是一个区间，可分为点估计和区间估计 3、矩估计 首先我们应该了 ...
分类：
其他好文 时间：
2017-12-02 16:17:09
阅读次数：
131
最近在看深度学习的"花书" （也就是Ian Goodfellow那本了），第五章机器学习基础部分的解释很精华，对比PRML少了很多复杂的推理，比较适合闲暇的时候翻开看看。今天准备写一写很多童鞋们w未必完全理解的最大似然估计的部分。 单纯从原理上来说，最大似然估计并不是一个非常难以理解的东西。最大似然 ...
分类：
其他好文 时间：
2017-11-27 14:17:27
阅读次数：
243
