码迷,mamicode.com
首页 > 其他好文 > 详细

七,专著研读(Logistic回归)

时间:2019-07-28 09:35:44      阅读:116      评论:0      收藏:0      [点我收藏+]

标签:通过   线性   梯度下降法   距离   逻辑   mat   不同的   训练   情感分析   

七,专著研读(Logistic回归)

  • 分类:k-近邻算法,决策树,朴素贝叶斯,Logistic回归,支持向量机,AdaBoost算法。
  • 运用
    • k-近邻算法,使用距离计算来实现分类
    • 决策树,构建直观的树来分类
    • 朴素贝叶斯,使用概率论构建分类器
    • Logistic回归,主要是通过寻找最优参数来正确分类原始数据
  • 逻辑回归(Logistic Regression):虽然名字中有“回归”两个字,但是它擅长处理分类问题。LR分类器适用于各项广义上的分类任务,例如:评论信息的正负情感分析,用户点击率,用户违约信息预测,垃圾邮件检测疾病预测,用户等级分类(二分类)。
  • 逻辑回归和线性回归本质都是得到一条直线,不同的是线性回归的直线是尽可能去拟合输入变量x的分布,使得训练集中所有样本点到直线的距离最短;而逻辑回归的直线尽可能去拟合决策边界,使得训练集中的样本点尽可能的分开。两者目的不同。
  • 二分类情况下:单位阶跃函数(海威赛德阶跃函数)。sigmoid函数较为容易处理。
    • sigmoid函数公式

      $ f(x)=\frac{1}{1+e^{-x}}$

  • 逻辑回归:通过将线性模型和sigmoid函数结合,可以得到逻辑回归公式:

    y=\frac{1}{1+e^{-(\omega x+b)}}

    y就是(0,1)的取值。
    进行变换(左右乘log),可得

    log\frac{y}{1-y}=\omega x+b

    这是一个对数几率的公式。
  • 二项Logistic回归

    \(P(y=0|x)=\frac{1}{1+e^{\omega x}}\)


    $ P(y=1|x)=\frac{e^{\omega x}}{1+e^{\omega x}}$

  • 多项Logistic回归

    \(P(y=k|x)=\frac{e^{\omega x}}{1+\sum_{k-1}^{K-1}e^{\omega _{k} x}}\)


    $ P(y=K|x)=\frac{1}{1+\sum_{k-1}^{K-1}e^{\omega _{k} x}}$

  • LR与线性回归的区别
    • 逻辑回归和线性回归是两类模型,逻辑回归是分类模型,线性回归是回归模型。
  • LR损失函数:使用损失函数预测模型的好坏,衡量真实值和预测值之间差距的函数,损失函数越小,模型就越好,最小损失0。

    $ -log(x),y=1$


    \(-log(1-x),y=0\)

  • 把上边两个损失函数综合起来:

    \(-[ylog(x)+(1-ylog(1-x)]\)

    y是标签,分别取0,1。对于m个样本,总的损失函数为:

    \(J(\Theta )=-\frac{1}{m}\sum_{i=1}^{m}[y_{i}log(p(x_{i})+(1-y_{i})log(1-p(x_{i}))]\)

    这个式子中,m是样本数,y是标签,取值0或1,i表示第i个样本,p(x)表示预测的输出。

  • 当损失过于小的时候,模型能拟合绝大部分的数据,这时候容易出现过拟合。防止过拟合引入正则化。
  • 梯度下降:在最小化损失函数时,可以通过梯度下降法迭代求解,得到最小化的损失函数和模型参数值。
  • 梯度下降的种类
    • 批量梯度下降算法BGD
    • 随机梯度下降算法SGD

七,专著研读(Logistic回归)

标签:通过   线性   梯度下降法   距离   逻辑   mat   不同的   训练   情感分析   

原文地址:https://www.cnblogs.com/zaw-315/p/11257719.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!