标签：www 因变量 ref 密度 方法 准则 rac com str
逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法
最大熵是概率模型学习的一个准则，被推广到分类问题后可得到最大熵模型(Maximum Entropy Model)
逻辑斯谛回归模型与最大熵模型都属于对数线性模型，而对数线性模型又是广义线性模型的一种。
科普一下：狭义的线性模型是指 自变量的线性预测 就是 因变量的估计值， 而广义的线性模型是指 自变量的线性预测的函数 是 因变量的估计值。
logistic distribution，设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数\[F(x)=P(X \le x)=\frac{1}{1+e^{-\frac{x-\mu}{\gamma}}}\]，式中\(\mu\)是位置参数，\(\gamma\)是形状参数
二项逻辑斯谛回归模型(binomial logistic regression model)是一种二分类模型，由条件概率分布P(Y|X)表示，形式为参数化的逻辑斯蒂分布。
变量X取值为实数，变量Y取值为0或1。我们通过监督学习的方法来估计得到模型的参数。
随机变量X输入到二项逻辑斯谛回归模型中得到属于某一类别的概率\(= w\cdot x + b\)为：
\(P(Y=1|X)=\frac{e^{w\cdot x + b}}{1 + e^{f(x)}}\)
\(P(Y=0|X)=\frac{1}{1 + e^{f(x)}}\)
在逻辑回归模型中，输出Y=1的对数几率是输入x的线性函数，换句话说，输出Y=1的对数几率是由输入x的线性函数表示的模型，即逻辑斯谛回归模型。
在二项逻辑回归模型中，它的目标函数是
\(J(w)=-\frac{1}{N}\sum_{n=1}^N y^n \log g(f(x^n)) + (1-y^n) \log (1-g(f(x^n)))\)
标签：www 因变量 ref 密度 方法 准则 rac com str
原文地址：https://www.cnblogs.com/siberiawind/p/9551546.html
