指数族分布是一大类分布，基本形式为： 分布函数框架中的h(x),η(θ),T(x)和A(θ)并不是任意定义的，每一部分都有其特殊的意义。 θ是自然参数(natural parameter)，通常是一个实数； h(x)是底层观测值（underlying measure）； T(x)是充分统计量（suf ...
分类：
其他好文 时间：
2019-07-31 21:46:17
阅读次数：
472
指数分布族 如果一类分布可以写成如下的形式，那么它就是属于指数分布族的： P(y;η) = b(y)exp(ηTT(y) - a(η)) (1) 这里η叫做分布的自然参数（natural parameter），或者叫标准参数（canonical parameter）；T(y)是充分统计量（ suff ...
分类：
其他好文 时间：
2018-08-23 23:10:23
阅读次数：
259
牛顿方法 本次课程大纲： 1、 牛顿方法：对Logistic模型进行拟合 2、 指数分布族 3、 广义线性模型（GLM）：联系Logistic回归和最小二乘模型 复习： Logistic回归：分类算法 假设给定x以为参数的y=1和y=0的概率： 求对数似然性： 对其求偏导数，应用梯度上升方法，求得： ...
分类：
其他好文 时间：
2018-01-31 20:20:58
阅读次数：
216
广义线性模型扩展了线性模型的框架，它包含了非正态的因变量分析 广义线性模型拟合形式： $$g(\mu_\lambda) = \beta_0 + \sum_{j=1}^m\beta_jX_j$$ $g(\mu_\lambda)为连接函数$. 假设响应变量服从指数分布族中某个分布(不仅仅是正态分布)，极 ...
分类：
编程语言 时间：
2017-12-02 21:09:37
阅读次数：
275
指数分布族前面学习了线性回归和logistic回归。对于\(P(y|x;\theta)\)若y属于实数，满足高斯分布，得到基于最小二乘法的线性回归；若y取{0,1}，满足伯努利分布，得到Logistic回归。这两个算法，其实都是广义线性模型的特例。考虑上述两个分布，伯努利分布和高斯分布：1) 伯努利... ...
分类：
其他好文 时间：
2017-10-14 18:35:39
阅读次数：
172
在分类问题中我们如果： 他们都是广义线性模型中的一个样例，在理解广义线性模型之前须要先理解指数分布族。 指数分布族（The Exponential Family） 假设一个分布能够用例如以下公式表达，那么这个分布就属于指数分布族： 公式中y是随机变量；h(x)称为基础度量值（base measure ...
分类：
其他好文 时间：
2017-08-05 17:46:34
阅读次数：
157
本节内容 牛顿方法 指数分布族 广义线性模型 之前学习了梯度下降方法，关于梯度下降（gradient descent），这里简单的回顾下【参考感知机学习部分提到的梯度下降(gradient descent)】。在最小化损失函数时，采用的就是梯度下降的方法逐步逼近最优解，规则为其实梯度下降属于一种优化 ...
分类：
其他好文 时间：
2017-06-08 00:19:59
阅读次数：
299
1.本福特定律 2.商品推荐的惊喜度 3.贝叶斯学派和频率学派 4.指数分布族 5.期望 6.方差 7.协方差 8.皮尔逊相关系数 ...
分类：
其他好文 时间：
2017-01-08 18:59:46
阅读次数：
322
整理一下之前所学过的关于回归问题的思路： 问题引入：房屋估价，给定新的房屋信息，预测出相应的房屋价格； 学习过程：构建模型h(θ)； 线性回归：最小二乘法、梯度下降法、线性模型的概率解释； 局部加权回归：带权重的线性回归、权值的钟形函数； 逻辑回归：分类方法、梯度上升法、牛顿法、引出感知机学习算法； ...
分类：
其他好文 时间：
2016-11-03 01:53:41
阅读次数：
463
在线性回归问题中，我们假设，而在分类问题中，我们假设，它们都是广义线性模型的例子，而广义线性模型就是把自变量的线性预测函数当作因变量的估计值。很多模型都是基于广义线性模型的，例如，传统的线性回归模型，最大熵模型，Logistic回归，softmax回归。 指数分布族 在了解广义线性模型之前，先了解一 ...
分类：
其他好文 时间：
2016-08-14 07:38:51
阅读次数：
196
