码迷,mamicode.com
首页 > 其他好文 > 详细

逻辑斯谛回归,softmax回归与最大熵模型

时间:2018-08-29 01:09:36      阅读:452      评论:0      收藏:0      [点我收藏+]

标签:www   因变量   ref   密度   方法   准则   rac   com   str   


逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法
最大熵是概率模型学习的一个准则,被推广到分类问题后可得到最大熵模型(Maximum Entropy Model)
逻辑斯谛回归模型与最大熵模型都属于对数线性模型,而对数线性模型又是广义线性模型的一种。
科普一下:狭义的线性模型是指 自变量的线性预测 就是 因变量的估计值, 而广义的线性模型是指 自变量的线性预测的函数 是 因变量的估计值。

逻辑斯谛回归

逻辑斯蒂分布

logistic distribution,设X是连续随机变量,X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数\[F(x)=P(X \le x)=\frac{1}{1+e^{-\frac{x-\mu}{\gamma}}}\],式中\(\mu\)是位置参数,\(\gamma\)是形状参数

二项逻辑斯谛回归模型

二项逻辑斯谛回归模型(binomial logistic regression model)是一种二分类模型,由条件概率分布P(Y|X)表示,形式为参数化的逻辑斯蒂分布。
变量X取值为实数,变量Y取值为0或1。我们通过监督学习的方法来估计得到模型的参数。
随机变量X输入到二项逻辑斯谛回归模型中得到属于某一类别的概率\(= w\cdot x + b\)为:
\(P(Y=1|X)=\frac{e^{w\cdot x + b}}{1 + e^{f(x)}}\)
\(P(Y=0|X)=\frac{1}{1 + e^{f(x)}}\)

在逻辑回归模型中,输出Y=1的对数几率是输入x的线性函数,换句话说,输出Y=1的对数几率是由输入x的线性函数表示的模型,即逻辑斯谛回归模型。

在二项逻辑回归模型中,它的目标函数是
\(J(w)=-\frac{1}{N}\sum_{n=1}^N y^n \log g(f(x^n)) + (1-y^n) \log (1-g(f(x^n)))\)

参考链接:

对数线性模型之一(逻辑回归), 广义线性模型学习总结(转)

逻辑斯谛回归,softmax回归与最大熵模型

标签:www   因变量   ref   密度   方法   准则   rac   com   str   

原文地址:https://www.cnblogs.com/siberiawind/p/9551546.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!