Logistic Regression

标签：style   http   使用   io   art   问题   cti   ar   

1.model specification

binomial logistic regression model是一种分类模型。

条件概率分布为：   伯努利分布

其中，

2.Maximum Likelihood Estimation

由于Hessian矩阵正定，因此NLL是个凸函数，有全局最小值。可以使用梯度下降或者牛顿方法解。

（1）梯度下降

步长选择问题：步长太小，收敛很慢；步长太大，可能不收敛。

可通过line search来搜索局部最小的。

但是存在一个zig-zag问题，可以加一个momentum term来解决或者通过

conjugate gradients来解决。

（2）牛顿方法

需要计算Hessian矩阵，并且要求Hessian矩阵严格正定。

Logistic Regression,布布扣,bubuko.com

Logistic Regression

标签：style   http   使用   io   art   问题   cti   ar   

原文地址：http://www.cnblogs.com/scofield0li/p/3869764.html