极大似然估计（Maximum Likelihood Estimate，MLE） 由于样本数据，是实实在在发生的数据，有理由相信该样本出现的概率本来就比较大，极大似然估计假设该样本出现的概率是最大的，然后通过该样本寻找一组参数，该参数使得该样本出现的概率最大 比如：班里有 50 个男生，50 个女生， ...
分类：
其他好文 时间：
2020-03-15 09:25:02
阅读次数：
58
4. XGBoost的优势XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势： 4.1 正则化标准GBM的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。实际上，XGBoost以 ...
分类：
其他好文 时间：
2020-02-28 21:08:07
阅读次数：
102
二次代价函数 $C = \frac{1} {2n} \sum_{x_1,...x_n} \|y(x)-a^L(x) \|^2$ 其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示样本的总数；整个的意思就是把n个y-a的平方累加起来，再除以2求一下均值。 为简单起见，先看下 一个样本 ...
分类：
其他好文 时间：
2020-02-23 09:50:04
阅读次数：
230
一、频率派 假设X为随机数据，其矩阵表示维度为N,假设θ为X随机数的特征，频率派认为在一次实验中，如果时间A发生了，那么则认为事件A的发生一定是事件A的概率最大，记为P(x=A)最大，由假设可知事件A发生的概率和θ有关。 极大似然是指一次试验就发生的事件，这个事件本身发生概率最大，极大似然估计具体求 ...
分类：
其他好文 时间：
2020-02-21 18:24:04
阅读次数：
84
似然 这个词害死人啊！ 拽什么拽啊，就是 最大可能估计！还有什么极大似然估计。都是坑人的，都一样。 最大似然估计是机器学习领域最为常见的用来构建 目标函数 的方法。 他的核心思想是：根据观测到的结果来预测其中的未知参数。 假设有一枚硬币，它是不均匀的，也就是说出现正面的反面的概率是不同的。假设我们设 ...
分类：
其他好文 时间：
2020-02-13 21:21:07
阅读次数：
100
from https://zhuanlan.zhihu.com/p/24709748 极大似然 https://blog.csdn.net/zengxiantao1994/article/details/72787849 https://zhuanlan.zhihu.com/p/26614750 矩 ...
分类：
其他好文 时间：
2020-02-11 21:58:23
阅读次数：
97
@[toc] 1.GradientBoostingClassifier loss :给定损失函数，可选对数似然函数deviance和指数损失函数exponential；默认为deviance；不建议修改。 n_estimators ：最大迭代次数，值过小可能会导致欠拟合，值过大可能会导致过拟合，一般 ...
分类：
其他好文 时间：
2020-02-08 23:17:16
阅读次数：
133
一、牛顿方法： 基本思想是利用迭代点$x_k$处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。 对于f(x)=0,求解x; 初始化$\theta$ ,然后一直迭代：$\theta^{ ...
分类：
其他好文 时间：
2020-01-30 23:00:59
阅读次数：
88
原文链接：http://tecdat.cn/?p=10175 几个月以来，我一直对序数回归与项目响应理论（IRT）之间的关系感兴趣。 在这篇文章中，我重点介绍Rasch分析。 最近，我花了点时间尝试理解不同的估算方法。三种最常见的估算方法是： 联合最大似然（JML） 条件逻辑回归，在文献中称为条件最 ...
分类：
编程语言 时间：
2020-01-20 19:21:58
阅读次数：
287
概率分布（一) 参数分布 取这个名字是因为少量的参数可以控制整个概率分布。如高斯分布，我们只需要控制其期望和方差就可以得到一个特定的概率分布。 频率学家的观点：通过最优化某些准则（如似然函数）来确定参数的具体值。 贝叶斯观点：给定观察数据，先引入参数的先验分布，然后用贝叶斯定理计算对应的后验概率分布 ...
分类：
其他好文 时间：
2020-01-17 23:33:26
阅读次数：
406
