（一）牛顿法解最大似然估计 牛顿方法（Newton's Method）与梯度下降（Gradient Descent）方法的功能一样，都是对解空间进行搜索的方法。其基本思想如下： 对于一个函数f(x)，如果我们要求函数值为0时的x，如图所示： 我们先随机选一个点，然后求出该点的切线，即导数，延长它使之 ...
分类：
其他好文 时间：
2016-04-21 01:17:59
阅读次数：
442
1、什么是指数分布族1.1 基本描述 指数型分布是一类重要的分布族，在统计推断中，指数型分布族占有重要的地位，在各领域应用广泛。许多的统计分布都是指数型分布，彼此之间具有一定的共性，在研究其统计性质与分布特征时，利用指数型分布族的特征，可以将这一族分布的特征分别表示出。在广义线性模型的统计推断...
分类：
其他好文 时间：
2015-11-08 20:36:25
阅读次数：
566
个人总结： 1、这一篇文章主要是证明性的东西为主，所以说数学公式相对较多，原文笔记作者省略了一些东西，没有和上文很好衔接，所以初学者不一定看明白，建议结合斯坦福机器学习原文讲义（是英文的，没找到有全文...
分类：
其他好文 时间：
2015-10-10 14:11:05
阅读次数：
182
回头再温习一下Andrew Ng的机器学习视频课，顺便把没写完的笔记写完。本节内容
牛顿方法
指数分布族
广义线性模型
之前学习了梯度下降方法，关于梯度下降（gradient descent），这里简单的回顾下【参考感知机学习部分提到的梯度下降(gradient descent)】。在最小化损失函数时，采用的就是梯度下降的方法逐步逼近最优解，规则为θ:=θ?η?θ?(θ)\theta := \the...
分类：
其他好文 时间：
2015-10-06 16:56:25
阅读次数：
363
指数分布族的定义： 若一类概率分布可以写成如下形式，那么它就属于指数分布族： η?-?自然参数，通常是一个实数 T(y) –?充分统计量，通常，T(y)=y，实际上是一个概率分布的充分统计量（统计学知识） 对于给定...
分类：
其他好文 时间：
2015-09-23 23:34:37
阅读次数：
529
在分类问题中我们假设：
他们都是广义线性模型中的一个例子，在理解广义线性模型之前需要先理解指数分布族。
指数分布族（The Exponential Family）
如果一个分布可以用如下公式表达，那么这个分布就属于指数分布族：
公式中y是随机变量；h(x)称为基础度量值（base measure）；
...
分类：
其他好文 时间：
2015-08-17 08:50:25
阅读次数：
158
转载请注明出处：http://www.cnblogs.com/BYRans/ 前面的文章已经介绍了一个回归和一个分类的例子。在逻辑回归模型中我们假设： 在分类问题中我们假设： 他们都是广义线性模型中的一个例子，在理解广义线性模型之前需要先理解指数分布族。指数分布族（The Exponen...
分类：
其他好文 时间：
2015-08-17 06:22:23
阅读次数：
244
逻辑回归是广义线性模型的一种特殊情况，但是在前面这篇http://blog.csdn.net/zhangzhengyi03539/article/details/46574803 讲逻辑回归的时候没有说明为什么要采用单极型函数，这篇文章将会从浅入深的讲解一下广义线性模型。
首先来说一下指数分布族。...
分类：
其他好文 时间：
2015-07-11 09:18:34
阅读次数：
150
指数分布族形式：应用：1. logistic 回归：
logistics 回归其实是伯努利分布。p(y;θ)=θy?(1?θ)1?yp(y;\theta) = \theta^y * (1-\theta)^{1-y} . 其中θ\theta可以看做hθ(x)h_\theta(x)
伯努利分布是指数分布的一个特列：
其中：
η=log(θ1?θ)\eta = log(\frac\theta{...
分类：
其他好文 时间：
2015-06-21 13:16:24
阅读次数：
239
本系列文章允许转载，转载请保留全文！【请先阅读】【说明&总目录】http://www.cnblogs.com/tbcaaa8/p/4415055.html1. 指数分布族简介之前的文章分别介绍了因变量服从高斯分布、伯努利分布、泊松分布、多项分布时，与之对应的回归模型，本文章将阐释这些模型的共同点，并...
分类：
系统相关 时间：
2015-05-16 20:13:32
阅读次数：
232
