标签：blog http 使用 strong sp on 问题 log bs
这是分类算法。之前的回归问题尝试预测的变量y是连续变量，在这个分类算法中，变量y是离散的，y只取{0,1}两个值。
一般这种离散二值分类问题用线性回归效果不好。比如x<=3，y=0；x>3，y=1，那么当x>3的样本占得比例很大是，线性回归的直线斜率就会越来越小，y=0.5时对应的x判决点就会比3大，造成预测错误。
若y取值{0,1}，首先改变假设的形式，使假设得到的值总在[0,1]之间，即：
所以，选取如下函数：
其中：
g函数一般被称为logistic函数，图像如下：
z很小时，g(z)趋于0，z很大时，g(z)趋于1，z=0时，g(z)=0.5
对假设的概率解释：
假设给定x以为参数的y=1和y=0的概率：
可以简写成：
参数的似然性：
求对数似然性：
为了使似然性最大化，类似于线性回归使用梯度下降的方法，求对数似然性对
因为求最大值，此时为梯度上升。
偏导数展开：
则：
即类似上节课的随机梯度上升算法，形式上和线性回归是相同的，只是符号相反，
标签：blog http 使用 strong sp on 问题 log bs
原文地址：http://www.cnblogs.com/lanying/p/4035088.html
