码迷,mamicode.com
首页 > 其他好文 > 详细

逻辑回归

时间:2019-12-14 13:58:34      阅读:114      评论:0      收藏:0      [点我收藏+]

标签:机器学习实战   info   start   元类   数据   logistic   介绍   科学   isp   

本篇随笔是数据科学家学习第六周的内容,主要参考资料为:

1.出场率No.1的逻辑回归算法,是怎样“炼成”的?

https://mp.weixin.qq.com/s/xfteESh2bs1PTuO2q39tbQ

2.逻辑回归

https://developers.google.cn/machine-learning/crash-course/logistic-regression/calculating-a-probability?hl=zh_cn

3.以及《机器学习实战》

  • 简介

逻辑回归是应用非常广泛的算法。逻辑回归的建模过程体现了数据建模中很重要的思想:对问题划分层次,并利用非线性变换和线性模型的组合,将未知的复杂问题分解为已知的简单问题。

  • 原理 -- 计算概率

许多问题需要将概率估算值作为输出。可以使用下面两种方式来获取概率:

1."按原样"
2.转换成二元类别。

我们来了解一下如何“按原样”使用概率。假设我们创建一个逻辑回归模型来预测狗在半夜发出叫声的概率。我们将此概率称为:

p(bark | night)

如果逻辑回归模型预测 p(bark | night) 的值为 0.05,那么一年内(365天),狗的主人应该被惊醒约 18 次:

startled = p(bark | night) * nights
18 ~= 0.05 * 365

在很多情况下,逻辑回归输出将映射到二元分类问题的解决方案,该二元分类问题的目标是正确预测两个可能的标签(例如,“垃圾邮件”或“非垃圾邮件”)中的一个。之后的单元会重点介绍这一内容。

我们需要将逻辑回归模型返回的概率值映射到0和1之间:

技术图片S 型函数会产生以下曲线图:

技术图片

 

 

如果Z表示使用逻辑回归训练的模型的线性层的输出,则 S 型(z) 函数会生成一个介于 0 和 1 之间的值(概率)。用数学方法表示为:

技术图片

其中:

  • y‘ 是逻辑回归模型针对特定样本的输出。
  • z 是 b + w1x1 + w2x2 + … wNxN。
  • w 的值是该模型学习的权重,b 是偏差。
  • x 的值是特定样本的特征值。

请注意,z 也称为对数几率,因为 S 型函数的反函数表明,z 可定义为标签“1”(例如“狗叫”)的概率除以标签“0”(例如“狗不叫”)的概率得出的值的对数:技术图片

 

以下是具有机器学习标签的 S 型函数:

技术图片

  • 逻辑回归的损失函数

TODO

  • 逻辑回归中的正则化

TODO

  • 逻辑回归与SVM比较

TODO

逻辑回归

标签:机器学习实战   info   start   元类   数据   logistic   介绍   科学   isp   

原文地址:https://www.cnblogs.com/favor-dfn/p/12038741.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!