概率函数 vs 似然函数 : p(x|θ) (概率函数是θ，已知，求x的概率。似然函数是x已知，求θ) 分布是p(x|θ)的总体样本中抽取到这100个样本的概率，也就是样本集X中各个样本的联合概率 最大似然估计为： 为了方便计算，对联合概率取对数 求最大似然函数估计值的一般步骤： （1）写出似然函数 ...
分类：
其他好文 时间：
2019-06-20 10:56:00
阅读次数：
92
学贝叶斯方法时绕不过去的一个问题，现在系统地总结一下。 之前过于纠结字眼，似然和概率到底有什么区别？以及这一个奇妙的对等关系（连续才是f，离散就是p）。 wiki：在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。 这里我们讨论的范围已经界定了，那就是在指定模型下（比 ...
分类：
其他好文 时间：
2019-05-14 09:44:10
阅读次数：
221
高斯函数与正态分布 高斯函数或者说正态分布函数在很多场合都得到广泛应用，其是概率论和统计学的核心，在最大似然估计、贝叶斯估计中必不可少。其也是稀疏贝叶斯估计的重要基础。下面对高斯函数的一些基本知识点进行归纳和总结，不当之处，欢迎批评指正。 (1) 高斯函数高斯函数定义如下\begin{equatio ...
分类：
其他好文 时间：
2019-05-13 09:17:03
阅读次数：
185
sklearn中的降维算法PCA和SVD 1 概述 1.1 从什么叫“维度”说开来 1.2 sklearn中的降维算法 2 PCA与SVD 2.1 降维究竟是怎样实现？ 2.2 重要参数n_components 2.2.1 迷你案例：高维数据的可视化 2.2.2 最大似然估计自选超参数 2.2.3 ...
分类：
编程语言 时间：
2019-03-19 10:41:12
阅读次数：
1183
机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系，查了一些资料发现优化这3个东西其实是等价的。 熵和交叉熵 提到交叉熵就需要了解下信息论中熵的定义。信息论认为： 确定的事件没有信息，随机事件包含最多的信息。 事件信息的定义为：$I(x) ...
分类：
其他好文 时间：
2019-03-13 18:02:58
阅读次数：
265
1.最小二乘法解的的推导，几何意义解释最小二乘法 2.从概率的角度解释最小二乘法 结论：最小二乘法等价于最大似然估计(条件是噪音需要满足高斯分布) 3. L2正则化 岭回归 4. 从概率的角度看正则化 结论：正则化之后的最小二乘法等价于最大后验概率估计(条件是噪音和先验分布都满足高斯分布) ...
分类：
其他好文 时间：
2019-01-15 17:12:00
阅读次数：
233
theta是个未知的常量，X是随机变量， MLE最大似然估计 MAE最大后验概率 统计机器学习，优化问题 1）建立模型、概率 2）定义损失函数 3）梯度下降/牛顿法求解 概率图模型 求积分（用蒙特卡洛方法取样） ...
分类：
其他好文 时间：
2019-01-15 16:59:51
阅读次数：
314
似然与概率 https://blog.csdn.net/u014182497/article/details/82252456 在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几 ...
分类：
其他好文 时间：
2019-01-10 21:48:55
阅读次数：
172
朴素贝叶斯naive bayes是直接生成方法，也就是直接找出特征输出Y和特征X的联合分布P(X,Y)P(X,Y),然后用P(Y|X)=P(X,Y)/P(X)P(Y|X)=P(X,Y)/P(X)得出。 数学基础： 1. 最大似然估计 ...
分类：
编程语言 时间：
2018-12-24 18:12:45
阅读次数：
177
