码迷,mamicode.com
首页 > 其他好文 > 详细

广义线性模型

时间:2018-08-23 23:10:23      阅读:259      评论:0      收藏:0      [点我收藏+]

标签:nbsp   导出   raw   actual   线性   就是   lazy   math   cti   

指数分布族

如果一类分布可以写成如下的形式,那么它就是属于指数分布族的:

P(y;η) = b(y)exp(ηTT(y) - a(η))        (1)

这里η叫做分布的自然参数(natural parameter),或者叫标准参数(canonical parameter);T(y)是充分统计量( sufficient statistic),对于我们考虑的大多数分布,T(y)=y;然后a(η)叫做log partition function。实际上,伯努利分布和正态分布都属于指数分布族,分析如下。

 

Bernoulli分布

伯努利概率分布如下:

P(y;φ) = φy(1 - φ)1-y = exp(ylog(φ) + (1 - y)log(1 - φ)) = exp(ylog(φ/(1-φ)) + log(1-φ))        (2)

(2)式对比(1)式,显然有

T(y) = y; η = log(φ/(1-φ)); a(η) = -log(1-φ) = 1/(1+exp(η))        // sigmoid

 

Gaussian分布

高斯概率分布如下:

技术分享图片

则有:

技术分享图片

由以上分析可知,伯努利和高斯分布都属于指数分布族。

 

广义线性模型

对于回归问题,如果满足以下三个条件,即可应用广义线性模型解决:

  • 技术分享图片 y的条件概率属于指数分布族
  • 给定x 广义线性模型的目标是 求解 技术分享图片 , 不过由于 很多情况下 技术分享图片 所以我们的目标变成了 技术分享图片 , 也即 我们希望拟合函数为 技术分享图片 ( 备注: 这个条件在 线性回归 和 逻辑回归中都满足, 例如 逻辑回归中 技术分享图片 )
  • 自然参数 技术分享图片 与 x是线性关系 : 技术分享图片 ( 技术分享图片为向量时 技术分享图片 )

 

广义线性模型推导出线性回归:

step1: 技术分享图片

step2: 由假设2 技术分享图片 得到:

 

技术分享图片

 

广义线性模型推导出逻辑回归:

step1: 技术分享图片

step2: 与上面同理

技术分享图片

 

广义线性模型推导出 Softmax Regression:

 https://www.cnblogs.com/wujiazhong/articles/9524388.html

广义线性模型

标签:nbsp   导出   raw   actual   线性   就是   lazy   math   cti   

原文地址:https://www.cnblogs.com/wujiazhong/p/9526949.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!