1.最小二乘法解的的推导，几何意义解释最小二乘法 2.从概率的角度解释最小二乘法 结论：最小二乘法等价于最大似然估计(条件是噪音需要满足高斯分布) 3. L2正则化 岭回归 4. 从概率的角度看正则化 结论：正则化之后的最小二乘法等价于最大后验概率估计(条件是噪音和先验分布都满足高斯分布) ...
分类：
其他好文 时间：
2019-01-15 17:12:00
阅读次数：
233
隐含狄利克雷分布（Latent Dirichlet Allocation ,简称LDA) 贝叶斯模型贝叶斯模型主要涉及“先验分布”， “数据（似然）”和“后验分布”三块，在贝叶斯学派中： 先验分布 + 数据（似然）= 后验分布可以理解为通过在现先验分布的基础上更新后验分布 二项分布$a = a -2 ...
分类：
其他好文 时间：
2018-11-28 20:30:46
阅读次数：
204
MAP：最大后验概率（Maximum a posteriori） 估计方法根据经验数据获得对难以观察的量的点估计。它与最大似然估计中的 Fisher方法有密切关系， 但是它使用了一个增大的优化目标，这种方法将被估计量的先验分布融合到其中。所以最大后验估计可以看作是规则化（regularization ...
分类：
其他好文 时间：
2018-10-16 19:24:39
阅读次数：
125
第六章——决策分析 问题 假设有一个比赛，两名参赛选手A、B需各自猜测一组展品的总价格，比赛规则如下： 1. 选手报价必须低于商品价格，或者视为失败 2. 猜测价格越接近商品实际价格的选手获胜，并且可获得报价商品 3. 如果获胜者报价误差低于250美元，那么可以额外获得对手的报价商品 以贝叶斯思维思 ...
分类：
其他好文 时间：
2018-09-06 19:46:23
阅读次数：
138
Map （最大后验） 在贝叶斯统计学中，最大后验（Maximum A Posteriori，MAP）估计可以利用经验数据获得对未观测量的点态估计。它与Fisher的最大似然估计（Maximum Likelihood，ML）方法相近，不同的是它扩充了优化的目标函数，其中融合了预估计量的先验分布信息，所 ...
分类：
其他好文 时间：
2018-09-04 13:40:31
阅读次数：
307
给定t时刻以及之前的所有观测z和输入u，我们的目标是求得当前状态量x的概率分布（belief），即 $$bel(x_t)=p(x_t|z_{1:t}, u_{1:t})$$ 在实际使用中，一般将求解过程分为两步，首先求解在t时刻观测前的先验分布，即 $$\overline{bel}(x_t)=p(x ...
分类：
其他好文 时间：
2018-05-19 13:53:12
阅读次数：
169
参考： https://blog.csdn.net/xianlingmao/article/details/7340099 wiki 理解了贝叶斯之后，再理解这些概念就轻松很多，原文如下。 在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的 ...
分类：
其他好文 时间：
2018-04-09 20:59:02
阅读次数：
191
今天的内容是 【主题模型】 场景描述 基于Bag-Of-Words（或N-gram）的文本表示模型有一个明显的缺陷，就是无法识别出不同的词（或词组）具有相同主题的情况。我们需要一种技术能够将具有相同主题的词（或词组）映射到同一维度上去，于是产生了主题模型(Topic Model)。主题模型是一种特殊 ...
分类：
其他好文 时间：
2018-02-27 23:46:02
阅读次数：
320
1、伯努利分布 对于二元随机变量x∈{0, 1}，即x的取值要么是0，要么是1。假设x描述的是扔一枚损坏的硬币的结果（即正反面朝上的概率不一定相等），x=1表示正面朝上，概率为参数μ，则有： p(x=1 | μ) = μ，其中0≤μ≤1 狄利克雷分布， 多项式分布，先验分布，共轭先验 ...
分类：
其他好文 时间：
2017-12-17 12:22:10
阅读次数：
122
1. 二项分布与beta分布对应 2. 多项分布与狄利克雷分布对应 3. 二项分布是什么？n次bernuli试验服从 二项分布 二项分布是N次重复bernuli试验结果的分布。 bernuli实验是什么？做一次抛硬币实验，该试验结果只有2种情况，x= 1, 表示正面。 x=0，表示反面。 bernu ...
分类：
其他好文 时间：
2017-09-10 11:15:13
阅读次数：
202
