一.贝叶斯概念 先验概率 后验概率 最大似然：最符合观测数据的（即P(D | h) 最大的）最有优势 奥卡姆剃刀：P(h) 较大的模型有较大的优势 朴素贝叶斯（假设特征之间独立，互不影响） 二．贝叶斯拼写检查器 ...
分类：
编程语言 时间：
2018-06-04 23:25:13
阅读次数：
138
一、基本思想 “模型已定，参数未知” 假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后再放回罐中。这个过程可以重复，我们可以用记录的球的颜 ...
分类：
其他好文 时间：
2018-06-03 23:38:46
阅读次数：
210
LDA只是一个求解思路。 1.理解LDA首先要理解EM算法，EM不能叫做一个算法，只是一个思想：它要求解的其实是一个极大似然估计，就是我用已知量去求解导致这个已知量出现的最大概率，而在这里又恰恰有点偏，这个已知量是我们开始给定的这个初值，我们要去用这个已知量去求解最大，然后再用这个最大值再带入到我们 ...
分类：
其他好文 时间：
2018-05-24 23:06:07
阅读次数：
226
摘自《统计学习方法》 李航 第五章 决策树学习通常包括3个步骤：特征选择、决策树的生成、决策树的剪枝 决策树学习本质上是从训练集中归纳出一组分类规则。 决策树学习的损失函数通常是正则化的极大似然函数。 决策树的学习算法通常是采用启发式的方法，近似求解最优化问题 特征选择问题 特征选择在于选取对训练数 ...
分类：
其他好文 时间：
2018-05-23 00:01:55
阅读次数：
169
利用样本对总体进行统计推断的一类问题是参数估计，即假定已知总体的分布，通 常是，估计有关的参数，如。 参数估计分点估计和区间估计两种。 点估计 点估计是用样本统计量确定总体参数的一个数值。 评价估计优劣的标准有无偏性、 小方差性、有效性等，估计的方法有矩法、极大似然法等。 常用的是对总体均值 μ 和 ...
分类：
其他好文 时间：
2018-05-19 17:08:31
阅读次数：
197
1、逻辑斯蒂分布 sigmoid 曲线 二项逻辑斯蒂回归模型，实际上是二项判别模型。 基于逻辑斯蒂的似然函数等于每个取值的概率之积。对数似然是对他们取log 多项逻辑斯蒂回归，实际是二项的扩展。 2、最大熵模型 由5.2.2节的熵模型。使我们需要的公式。 所谓最大熵，是指83页定义的条件熵的最大熵。 ...
分类：
其他好文 时间：
2018-05-18 00:34:27
阅读次数：
137
一.线性回归算法原理推导 1.误差项分析 2.似然函数求解 3.目标函数推导 4.线性回归求解 ...
分类：
其他好文 时间：
2018-05-15 00:18:24
阅读次数：
160
1） 最大似然估计 MLE 给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood Es ...
分类：
其他好文 时间：
2018-05-14 10:29:13
阅读次数：
158
整理自： https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1 EM算法是用于含有隐变量模型的极大似然估计或者极大后验估计，有两步组成：E步，求期望（expectation）；M步，求极大（ma ...
分类：
其他好文 时间：
2018-05-09 22:42:59
阅读次数：
189
面试荔枝FM杯具，遂死磕AQS途中发现一个有趣的模版用法，记下来。 模版方法是很重要的设计模式，在数据访问层、众多的插件接口都可见其影子，一般的实现都是在模版中定义抽象方法并使用其方法进行算法，让具体的模版定义定制的功能，类似： 然而有时候你可能没办法让productA() 称为抽象方法，比喻你需要 ...
分类：
编程语言 时间：
2018-04-28 01:26:04
阅读次数：
179
