七月在线4月机器学习算法班课程笔记——No.8
1. 统计学习基础回顾1.1 先验概率与后验概率 先验概率：根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的”因”出现。
后验概率：依据得到”结果”信息所计算出的最有可能是那种事件发生，如贝叶斯公式中的，是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。
贝叶斯定理：假设...
分类：
编程语言 时间：
2016-06-21 08:04:13
阅读次数：
2226
1.往往假设特征之间独立同分布，那么似然函数往往是连城形式，直接求骗到不好搞，根据log可以把连乘变为连加。 2.另外概率值是小数，多个小数相乘容易赵成浮点数下溢，去log变为连加可以避免这个问题。 若果原始似然函数中没有连加和，那么去对术后没有log(a+b)的形式，此时可以用GD，否则用EM，村 ...
分类：
其他好文 时间：
2016-06-20 11:16:37
阅读次数：
864
最大似然函数
我们没法直接用求导解方程的办法直接求得最大值。可以采用EM算法
换成公式3形式求最大似然函数，其中Qi(z(i))用以下求，p(xi,zi;θ)为下式分子带入3中求最大似然函数的参数值为2.
其中 ，并且 也顺理成章地可以估计为 。
重复迭代前面两步，直到似然函数的值收敛为止。
下列为GMM参考代码l连接点击...
分类：
其他好文 时间：
2016-05-12 12:37:15
阅读次数：
195
本文主要介绍三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。
1、最大似然估计MLE
首先回顾一下贝叶斯公式
这个公式也称为逆概率公式，可以将后验概率转化为基于似然函数和先验概率的计算表达式，即
最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可...
分类：
其他好文 时间：
2016-04-22 19:52:49
阅读次数：
146
形式：
采用sigmoid函数：g(z)=11+e?zg(z)=\frac{1}{1+e^{-z}}
其导数为g′(z)=(1?g(z))g(z)g^\prime(z)=(1-g(z))g(z)
假设：
即：
若有m个样本，则似然函数形式是：
对数形式：
采用梯度上升法求其最大值
求导：
更新规则为：
可以发现，则个规则形式上和LMS更新规则是一样...
分类：
编程语言 时间：
2016-04-22 19:32:34
阅读次数：
314
1、结论 测量误差（测量）服从高斯分布的情况下， 最小二乘法等价于极大似然估计。 2、最大似然估计 最大似然估计就是通过求解最大的（1）式得到参数，其中 L 函数称为参数的似然函数，是一个概率分布函数。 ...
分类：
其他好文 时间：
2016-03-09 12:44:28
阅读次数：
136
博文参考了以下两位博主的文章：http://blog.csdn.net/lu597203933/article/details/45032607，http://blog.csdn.net/viewcode/article/details/8794401 回归问题的前提： 1） 收集的数据 2） 假设
分类：
其他好文 时间：
2016-03-03 21:01:30
阅读次数：
1322
共轭是贝叶斯理论中的一个概念，一般共轭要说是一个先验分布与似然函数共轭；那么就从贝叶斯理论中的先验概率，后验概率以及似然函数说起：在概率论中有一个条件概率公式，有两个变量第一个是A,第二个是B ,A先发生，B后发生，B的发生与否是与A有关系的，那么我们要想根据B的发生情况来计算 A发生的概率就是所谓...
分类：
其他好文 时间：
2016-01-19 23:22:27
阅读次数：
318
一、机器学习中的參数预计问题 在前面的博文中，如“简单易学的机器学习算法——Logistic回归”中，採用了极大似然函数对其模型中的參数进行预计，简单来讲即对于一系列样本，Logistic回归问题属于监督型学习问题，样本中含有训练的特征X_i" title="X_i" alt="">以及标签。在L....
分类：
编程语言 时间：
2016-01-11 20:08:15
阅读次数：
398
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在...
分类：
其他好文 时间：
2015-12-03 00:49:26
阅读次数：
133
