码迷,mamicode.com
首页 > 其他好文 > 详细

Logistic回归

时间:2014-05-31 17:59:42      阅读:279      评论:0      收藏:0      [点我收藏+]

标签:c   style   class   blog   tar   a   

Logistic回归为概率型非线性回归模型,是研究二分类观察结果bubuko.com,布布扣与一些影响因素bubuko.com,布布扣之间关系的一种多

分析方法。通常的问题是,研究某些因素条件下某个结果是否发生,比如医学中根据病人的一些症状来判断它是

否患某种病。

 

在讲解Logistic回归理论之前,我们先从LR分类器说起。LR分类器,即Logistic Regression Classifier。

在分类情形下,经过学习后的LR分类器是一组权值bubuko.com,布布扣,当测试样本的数据输入时,这组权值与测试数据按

线性加和得到

 

           bubuko.com,布布扣

 

这里bubuko.com,布布扣是每个样本的bubuko.com,布布扣个特征。

之后按照sigmoid函数的形式求出

 

           bubuko.com,布布扣

 

由于sigmoid函数的定义域为bubuko.com,布布扣,值域为bubuko.com,布布扣,因此最基本的LR分类器适合对两类目标进行分类。

所以Logistic回归最关键的问题就是研究如何求得bubuko.com,布布扣这组权值。这个问题是用极大似然估计来做的。

 

 

下面正式地来讲Logistic回归模型。

 

考虑具有bubuko.com,布布扣个独立变量的向量bubuko.com,布布扣,设条件慨率bubuko.com,布布扣为根据观测量相对于某事件bubuko.com,布布扣发生的

概率。那么Logistic回归模型可以表示为

 

           bubuko.com,布布扣

这里bubuko.com,布布扣称为Logistic函数。其中bubuko.com,布布扣

 

那么在bubuko.com,布布扣条件下bubuko.com,布布扣不发生的概率为

 

           bubuko.com,布布扣

 

所以事件发生与不发生的概率之比为

 

           bubuko.com,布布扣

 

这个比值称为事件的发生比(the odds of experiencing an event),简记为odds。

 

对odds取对数得到

 

           bubuko.com,布布扣

 

 

可以看出Logistic回归都是围绕一个Logistic函数来展开的。接下来就讲如何用极大似然估计求分类器的参数。

 

假设有bubuko.com,布布扣个观测样本,观测值分别为bubuko.com,布布扣,设bubuko.com,布布扣为给定条件下得到bubuko.com,布布扣的概率,同样地,

bubuko.com,布布扣的概率为bubuko.com,布布扣,所以得到一个观测值的概率为bubuko.com,布布扣

 

因为各个观测样本之间相互独立,那么它们的联合分布为各边缘分布的乘积。得到似然函数为

 

                                         bubuko.com,布布扣

 

然后我们的目标是求出使这一似然函数的值最大的参数估计,最大似然估计就是求出参数bubuko.com,布布扣,使得bubuko.com,布布扣

取得最大值,对函数bubuko.com,布布扣取对数得到

 

            bubuko.com,布布扣

 

继续对这bubuko.com,布布扣bubuko.com,布布扣分别求偏导,得到bubuko.com,布布扣个方程,比如现在对参数bubuko.com,布布扣求偏导,由于

 

             bubuko.com,布布扣

 

所以得到

 

            bubuko.com,布布扣

 

这样的方程一共有bubuko.com,布布扣个,所以现在的问题转化为解这bubuko.com,布布扣个方程形成的方程组。

 

上述方程比较复杂,一般方法似乎不能解之,所以我们引用了牛顿-拉菲森迭代方法求解。

 

利用牛顿迭代求多元函数的最值问题以后再讲。。。

 

简单牛顿迭代法:http://zh.m.wikipedia.org/wiki/%E7%89%9B%E9%A1%BF%E6%B3%95

 

实际上在上述似然函数求最大值时,可以用梯度上升算法,一直迭代下去。梯度上升算法和牛顿迭代相比,收敛速度

慢,因为梯度上升算法是一阶收敛,而牛顿迭代属于二阶收敛。

 

 

 

Logistic回归,布布扣,bubuko.com

Logistic回归

标签:c   style   class   blog   tar   a   

原文地址:http://blog.csdn.net/acdreamers/article/details/27365941

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!