从广义线性模型到逻辑回归，逻辑回归的深入理解

标签：

总结：由于逻辑回归假定y的条件分布(y|x)是伯努利分布，所以根据广义线性模型和指数分布簇的定义可以得到逻辑回归的假设函数是sigmoid函数。

广义线性模型的三个假设——逻辑回归

1、 假定服从指数分布簇的某个分布

　　逻辑回归中，，所以假定【即已知参数θ的情况下，给定x，y的条件概率服从参数的伯努利分布】,此时有。在将伯努利分布转换成指数簇的表达形式中，得知【见文章后面参考】

2、假定在假设h下预测值h_θ(x)满足【即预测结果要和均值相同】

　　在逻辑回归中，

3、 假定自然参数η与输入x之间是线性相关的，即η=θ^Tx

 根据以上信息可以得到：

参考：

指数分布簇具有以下形式：

其中η是分布的自然参数(natural parameter)，T(y)是充分统计量(sufficient statistic)，一般T(y)=y，a(η)是log partition function。e^-a(η)是起标准化作用的。

将伯努利分布转换成指数分布簇的形式

对应到指数分布簇中有：

此时：

另外：

从广义线性模型到逻辑回归，逻辑回归的深入理解

标签：

原文地址：http://www.cnblogs.com/xiangzhi/p/4668155.html