极大似然估计学习时总会觉得有点不可思议，为什么可以这么做，什么情况才可以用极大似然估计。本文旨在通俗理解MLE(Maximum Likelihood Estimate)。 一、极大似然估计的思想与举例 举个简单的栗子：在一个盒子里有白色黑色小球若干个，每次有放回地从里面哪一个球，已知抽到白球的概率可 ...
分类：
其他好文 时间：
2019-01-20 15:57:40
阅读次数：
245
贝叶斯里面的参数原理 最大似然： 即最符合观测数据的最有优势，即p(D|h)最大 奥卡姆剃刀：即越常见的越有可能发生，即p(h) 表示的是先验概率 最大似然： 当我们投掷一枚硬币，观测到的是正面，那么我们猜测投掷正面的概率为1，即最大似然值的概率是最大的 奥卡姆剃刀： 如果平面上有N个点，我们使用n ...
分类：
其他好文 时间：
2019-01-18 19:59:07
阅读次数：
224
1. 前言 我们之前有介绍过 "4. EM算法 高斯混合模型GMM详细代码实现" ，在那片博文里面把GMM说涉及到的过程，可能会遇到的问题，基本讲了。今天我们升级下，主要一起解析下EM算法中GMM（搞事混合模型）带惩罚项的详细代码实现。 2. 原理 由于我们的极大似然公式加上了惩罚项，所以整个推算的 ...
分类：
编程语言 时间：
2019-01-16 21:49:46
阅读次数：
195
1.最小二乘法解的的推导，几何意义解释最小二乘法 2.从概率的角度解释最小二乘法 结论：最小二乘法等价于最大似然估计(条件是噪音需要满足高斯分布) 3. L2正则化 岭回归 4. 从概率的角度看正则化 结论：正则化之后的最小二乘法等价于最大后验概率估计(条件是噪音和先验分布都满足高斯分布) ...
分类：
其他好文 时间：
2019-01-15 17:12:00
阅读次数：
233
theta是个未知的常量，X是随机变量， MLE最大似然估计 MAE最大后验概率 统计机器学习，优化问题 1）建立模型、概率 2）定义损失函数 3）梯度下降/牛顿法求解 概率图模型 求积分（用蒙特卡洛方法取样） ...
分类：
其他好文 时间：
2019-01-15 16:59:51
阅读次数：
314
二项逻辑回归模型是如下的条件概率分布： 其中x∈是输入，y∈{0，1}是输出。 为了方便，将权值向量和输入向量进行扩充，此时w = ,x = ,回归模型表示如下： 参数w未知，采用统计学中的极大似然估计来由样本估计参数w。对于0-1分布x ~ B(1 , p)，x的概率密度函数可以表示为： 其中k ...
分类：
其他好文 时间：
2019-01-14 20:08:47
阅读次数：
191
似然与概率 https://blog.csdn.net/u014182497/article/details/82252456 在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几 ...
分类：
其他好文 时间：
2019-01-10 21:48:55
阅读次数：
172
当概率模型依赖于无法观测的隐性变量时，使用普通的极大似然估计法无法估计出概率模型中参数。此时需要利用优化的极大似然估计：EM算法。 在这里我只是想要使用这个EM算法估计混合高斯模型中的参数。由于直观原因，采用一维高斯分布。 一维高斯分布的概率密度函数表示为： 多个高斯分布叠加在一起形成混合高斯分布： ...
分类：
编程语言 时间：
2019-01-01 16:08:21
阅读次数：
235
Vagrantfile类似： 然后运行下面的vagrant up --provider=docker命令时失败： 原因是hashicorp/precise64这个box不支持provider=docker,换一个支持docker的box即可 ...
分类：
其他好文 时间：
2018-12-26 17:45:41
阅读次数：
178
朴素贝叶斯naive bayes是直接生成方法，也就是直接找出特征输出Y和特征X的联合分布P(X,Y)P(X,Y),然后用P(Y|X)=P(X,Y)/P(X)P(Y|X)=P(X,Y)/P(X)得出。 数学基础： 1. 最大似然估计 ...
分类：
编程语言 时间：
2018-12-24 18:12:45
阅读次数：
177
