在 机器学习中的贝叶斯方法 先验概率、似然函数、后验概率的理解及如何使用贝叶斯进行模型预测（1） 文章中介绍了先验分布和似然函数，接下来，将重点介绍后验概率，以及先验概率、似然函数、后验概率三者之间的关系 贝叶斯公式。 在这篇文章中，我们通过最大化似然函数求得的参数 r 与硬币的抛掷次数(抛掷次数是 ...
分类：
其他好文 时间：
2017-04-01 21:53:23
阅读次数：
316
一，本文将基于“独立重复试验 抛硬币”来解释贝叶斯理论中的先验概率、似然函数和后验概率的一些基础知识以及它们之间的关系。 本文是《A First Course of Machine Learning》的第三章的学习笔记，在使用贝叶斯方法构造模型并用它进行预测时，总体思路是：在已经先验知识(先验概率分 ...
分类：
其他好文 时间：
2017-04-01 16:23:27
阅读次数：
553
在Coursera机器学习课程中，第一篇练习就是如何使用最小均方差(Least Square)来求解线性模型中的参数。本文从概率论的角度 最大化似然函数，来求解模型参数，得到线性模型。本文内容来源于：《A First Course of Machine Learning》中的第一章和第二章。 先来看 ...
分类：
其他好文 时间：
2017-03-26 18:05:47
阅读次数：
151
1. 最大似然估计法的思想 在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个θ作为真θ的估计。 2. 离散型随机变量 设X为离散型随机变量，其概率分布的形式为 ，则样本的概率分布为 ，在 固定时，上式表示取值的概率；当 固定时，它是 的函数，我们把它记为 并称为似然函数。 似 ...
分类：
其他好文 时间：
2017-03-25 22:41:29
阅读次数：
178
深度信念网络 (Deep Belief Network, DBN) 由 Geoffrey Hinton 在 2006 年提出。它是一种生成模型，通过训练其神经元间的权重，我们可以让整个神经网络按照最大概率来生成训练数据。我们不仅可以使用 DBN 识别特征、分类数据，还可以用它来生成数据。下面的图片展 ...
分类：
其他好文 时间：
2017-02-27 18:47:02
阅读次数：
839
概率模型的范式是这样的： 1.根据抽样建立似然函数 2.对某个参数求偏导。（实际就是最大化似然函数） 3.代入实验数据求得参数。 注意到， 1.建立目标函数要根据抽样的频数，譬如根据硬币抽样结果，抽到A硬币还是B硬币，A硬币抛了几次正面，B硬币抛了几次正面，参数是A，B的抛正面率，建立似然函数。 2 ...
分类：
其他好文 时间：
2017-02-04 18:31:50
阅读次数：
154
假设有一堆数据点,它是由两个线性模型产生的。公式如下： 模型参数为a,b,n：a为线性权值或斜率，b为常数偏置量，n为误差或者噪声。 一方面，假如我们被告知这两个模型的参数，则我们可以计算出损失。 对于第i个数据点，第k个模型会预测它的结果 则，与真实结果的差或者损失记为： 目标是最小化这个误差。 ...
分类：
编程语言 时间：
2017-01-21 21:18:01
阅读次数：
334
EM算法有很多的应用: 最广泛的就是GMM混合高斯模型、聚类、HMM等等. The EM Algorithm 高斯混合模型（Mixtures of Gaussians）和EM算法 EM算法 求最大似然函数估计值的一般步骤： （1）写出似然函数； （2）对似然函数取对数，并整理； （3）求导数，令导数 ...
分类：
编程语言 时间：
2017-01-08 13:09:56
阅读次数：
437
因为逻辑回归对于计算广告学非常重要。也是我们平时广告推荐、CTR预估最常用到的算法。所以单独开一篇文章讨论。 参考这篇文章：http://www.cnblogs.com/sparkwen/p/3441197.html 逻辑回归其实仅为在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，逻 ...
分类：
其他好文 时间：
2016-12-19 00:05:08
阅读次数：
406
Lofistic回归模型也可以用于配对资料，但是其分析方法和操作方法均与之前介绍的不同，具体表现在以下几个方面1.每个配对组共有同一个回归参数，也就是说协变量在不同配对组中的作用相同2.常数项随着配对组变化而变化，反映了非实验因素在配对组中的作用，但是我们并不关心其大小，因此在拟合时采用条件似然函数 ...
分类：
其他好文 时间：
2016-07-23 22:54:55
阅读次数：
1305
