在Click Model中进行参数预估的方法有两种：最大似然（MLE）和期望最大（EM）。至于每个click model使用哪种参数预估的方法取决于此model中的随机变量的特性。如果model中的随机变量都是可以observed，那么无疑使用MLE，而如果model中含有某些hidden vari ...
分类：
Web程序 时间：
2017-01-01 23:55:00
阅读次数：
407
隐马尔可夫模型的学习问题：给定一个输出序列O=O1O2...OT,如何调节模型μ=(A,B,π）的参数，使得P(O|M)最大。 最大似然估计是一种解决方法，如果产生的状态序列为Q=q1q2...qT,根据最大似然估计，可以通过以下公式推算： πi‘ = δ（q1,si) aij' = Q中从状态qi ...
分类：
编程语言 时间：
2016-12-25 11:23:58
阅读次数：
242
现在，生成模型还没有体会到深度学习的利好，在Discriminative模型上，成果如雨后春笋，但在生成模型上，却并非如此。原因如下：
- 在最大似然估计及相关策略上，很多概率计算的模拟非常难
- ...
分类：
Web程序 时间：
2016-12-23 14:36:15
阅读次数：
604
一、一些概念 互信息： 两个随机变量x和Y的互信息，定义X, Y的联合分布和独立分布乘积的相对熵。 贝叶斯公式： 贝叶斯带来的思考： 给定某些样本D，在这些样本中计算某结论出现的概率，即 给定样本D 所以可以推出，再假定p(Ai)相等，可以推出，这个就是最大似然估计做的事情，看下取哪个参数的时候，D ...
分类：
其他好文 时间：
2016-12-18 18:06:26
阅读次数：
256
Basis(基础)： MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic ...
分类：
编程语言 时间：
2016-11-14 09:41:30
阅读次数：
306
由于最近要经常用到XGBOOST的包，不免对相关的GBDT的原理又重新学习了一遍， 发现其中在考虑损失函数的时候，是以对数log进行度量的，囿于误差平方和函数的印象 那么为什么是对数呢？可能是下面的原因： 【通俗的解释】 对数损失是用于最大似然估计的。一组参数在一堆数据下的似然值，等于每一条数据的概 ...
分类：
其他好文 时间：
2016-09-30 00:53:41
阅读次数：
376
最大似然估计 MLE 给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。 例如，对于线性回归，我们假定样本是服从正态分布，但是不知道均值和方差；或者对于逻辑回归，我们假定样本是服从二项分布，但是不知道均值，逻辑回归公式得到的是因变量 ...
分类：
其他好文 时间：
2016-09-14 10:58:39
阅读次数：
183
参数估计的方法有多种，这里我们分析三种基于概率的方法，分别是最大似然估计（Maximum Likelihood）、贝叶斯估计（Bayes）和最大后验估计（Maximum a posteriori）。我...
分类：
其他好文 时间：
2016-08-28 18:15:44
阅读次数：
151
最近学习整理相关算法，发现EM算法和MLE估计都是十分优秀的算法。 首先最大似然估计是一种已知结果，通过改变参数theta使得这种结果出现的可能性最大。 而EM算法则是可以解决含有隐藏变量的问题。举个大家都用的例子，就是我们要统计某学校男女同学的身高，如果我们可以区分男女同学，那么用最大似然估计即可 ...
分类：
编程语言 时间：
2016-08-11 21:01:41
阅读次数：
225
