码迷,mamicode.com
首页 > 其他好文 > 详细

Logistic Regression 逻辑回归

时间:2018-01-13 20:42:06      阅读:206      评论:0      收藏:0      [点我收藏+]

标签:需要   down   sub   reg   with   决定   模型   log   计算   

问题描述
收集到某一地区的房子面积和房价的数据(x, y)42组,对于一套已知面积的房子预测其房价?
技术分享图片
技术分享图片
由房价数据可视化图可以看出,可以使用一条直线拟合房价。通过这种假设得到的预测值和真实值比较接近。

Model 模型

将现实的问题通过数学模型描述出来。
m 个 样本(example)组成训练集(training set),每一个样本有n个特征(feature)和一个标签(label)。目的是,通过一个数学模型(algorithm)和参数(parameters)将每一个样本和标签映射。这样,给定一个未知的样本就可以通过建立的数学模型预测其标签。

技术分享图片

Hypothesis 假设

假设房价由此方程拟合
技术分享图片
其中theta_0为偏置bias,theta_1为因变量的权重weigh

Cost function 损失函数

需要一个函数评价拟合函数的预测效果如何。直观的,我们可以计算真实房价和预测房价的差值平方和J,J越小预测效果越好。所以,可以通过最小化J可以求出参数theta_0和theta_1的值。
技术分享图片

Gradient descent 梯度下降

这是一个二元函数求极值的问题。可以使用求偏导的方法找出极值点。对于计算机来说采用梯度下降法。
repeat until convergence {
技术分享图片
技术分享图片

}
技术分享图片

技术分享图片

通过这种方式可以得出假设的参数。对于已知房子面积的房子就可以使用假设估计房价了。值得一提的是预测的房价不可能是100%准确,但是可以认为是在给定条件下最接近真实房价的值。

LG with multiple variables 多元线性回归

更一般的情况是房价可能由多种因素综合决定,像房子年龄,卧室数目和楼层数。
技术分享图片

这时hypothesis变为
技术分享图片

cost function变为
技术分享图片

gradient descent变为
技术分享图片

注意使用feature scaling将不同范围的特征映射到相近的范围。
技术分享图片

技术分享图片

Polynomial regression多项式回归

更一般的情况是房价和面积是如下图的关系。解决方法转化为多元线性回归。
技术分享图片

在这种情况下,一种可能是选择以下特征
技术分享图片

hypothesis
技术分享图片

即为
技术分享图片

解决方法同多元线性回归。

Normal Equation

当除了使用梯度下降外,还可以

技术分享图片

技术分享图片

解得
技术分享图片

注意当features数多于样本数的情况
解决办法增加样本数,减少特征数,使用normalization

References

  1. Machine Learning by Andrew Ng
  2. 机器学习 周志华

Logistic Regression 逻辑回归

标签:需要   down   sub   reg   with   决定   模型   log   计算   

原文地址:https://www.cnblogs.com/s3abiscuit/p/8280324.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!