最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。 ...
分类：
其他好文 时间：
2018-12-16 11:10:07
阅读次数：
114
一、神经网络1.为了进行梯度下降，误差函数不能是离散的，而必须是连续的。误差函数必须是可微分的。同时，要将离散预测变成连续预测，方法是将激活函数从阶跃函数变成S函数。 2.最大似然法：选出实际发生的情况所对应的概率更大的模型。 3.交叉熵(损失函数)：将得到的概率取对数，对它们的相反数进行求和。准确 ...
分类：
其他好文 时间：
2018-11-26 22:09:27
阅读次数：
260
EM算法：让期望最大化的算法最大似然估计：已知：样本服从分布的模型 观测到的样本求解：模型的参数 极大似然估计是用来估计模型参数的统计学方法 就是什么参数能使得样本符合这么一个模型最大似然函数：什么样的参数使得出现当前这批样本概率最大 利用结果推出参数的最大值 问题提升：有两个类别，这两个类别都服从 ...
分类：
编程语言 时间：
2018-11-26 20:58:40
阅读次数：
23591
EM算法推导 网上和书上有关于EM算法的推导，都比较复杂，不便于记忆，这里给出一个更加简短的推导，用于备忘。 在不包含隐变量的情况下，我们求最大似然的时候只需要进行求导使导函数等于0，求出参数即可。但是包含隐变量，直接求导就变得异常复杂，此时需要EM算法，首先求出隐变量的期望值（E步），然后，把隐变 ...
分类：
编程语言 时间：
2018-10-26 14:22:08
阅读次数：
143
MAP：最大后验概率（Maximum a posteriori） 估计方法根据经验数据获得对难以观察的量的点估计。它与最大似然估计中的 Fisher方法有密切关系， 但是它使用了一个增大的优化目标，这种方法将被估计量的先验分布融合到其中。所以最大后验估计可以看作是规则化（regularization ...
分类：
其他好文 时间：
2018-10-16 19:24:39
阅读次数：
125
Map （最大后验） 在贝叶斯统计学中，最大后验（Maximum A Posteriori，MAP）估计可以利用经验数据获得对未观测量的点态估计。它与Fisher的最大似然估计（Maximum Likelihood，ML）方法相近，不同的是它扩充了优化的目标函数，其中融合了预估计量的先验分布信息，所 ...
分类：
其他好文 时间：
2018-09-04 13:40:31
阅读次数：
307
贝叶斯决策 首先来看贝叶斯分类，我们都知道经典的贝叶斯公式： 其中：p(w)：为先验概率，表示每种类别分布的概率，P（X|W）：类条件概率，表示在某种类别前提下，某事发生的概率；而P（W|X）为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。后验概率越 ...
分类：
其他好文 时间：
2018-08-30 00:13:00
阅读次数：
165
参考： 从最大似然到EM算法浅解 （EM算法）The EM Algorithm EM算法的九层境界：Hinton和Jordan理解的EM算法 在EM算法的证明中，其实比较好理解，总结如下： 从最大似然估计出发 > 将隐变量暴露出来，写出累加/积分的 形式 > 引入Q(z),表示隐变量z的概率密度函数 ...
分类：
编程语言 时间：
2018-08-20 00:28:07
阅读次数：
8398
线性回归 人工智能是机器学习的父类；机器学习是深度学习的父类 1. 怎么做线性回归？ 2. 理解回归 -- 最大似然函数 3. 应用正态分布概率密度函数 -- 对数总似然 4. 推导出损失函数 -- 推导出解析解 5. 代码实现解析解的方式求解 -- 梯度下降法的开始 -- sklearn模块使用线 ...
分类：
其他好文 时间：
2018-08-14 22:51:12
阅读次数：
307
