一、序言 在统计学中，线性回归（Linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即 ...
分类：
其他好文 时间：
2018-03-06 12:47:57
阅读次数：
210
GBDT 序言 GBDT (Gradient Boosting Decision Tree)又叫MART (Multiple Additive Regression Tree)，是一种迭代的决策树算法，即该算法由多棵决策树组成，所有决策树的预测结果累加起来做最终答案。 正文 Gradient Boo ...
分类：
其他好文 时间：
2018-03-05 11:14:57
阅读次数：
219
Softmax Regression是逻辑回归在多分类问题上的推广，主要用于处理多分类问题，其中任意两个类别之间都是线性可分的。 假设有$k$个类别，每个类别的参数向量为${\theta}_j $，那么对于每个样本，其所属类别的概率为： \[P({{y}_{i}}|X,{{\theta }_{j}} ...
分类：
编程语言 时间：
2018-03-04 23:56:03
阅读次数：
265
线性回归是最典型的回归问题，其目标值与所有的特征之间存在线性关系。线性回归于逻辑回归类似，不同的是，逻辑回归在线性回归的基础上加了逻辑函数，从而将线性回归的值从实数域映射到了0-1，通过设定阀值，便实现了回归的0-1分类，即二分类。 线性回归函数$Y=XW$，其中Y是1*n维向量，X是n*m矩阵，W ...
分类：
编程语言 时间：
2018-03-04 10:34:11
阅读次数：
332
参考资料： 【1】 Spark MLlib 机器学习实践 【2】 机器学习之梯度下降 http://www.cnblogs.com/rcfeng/p/3958926.html 【3】 统计学习方法 1、回归分析概念 在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最 ...
分类：
其他好文 时间：
2018-03-03 12:19:09
阅读次数：
168
coursera 上的 华盛顿大学 machine learning： regression 第四周笔记 通常， 过拟合的一个表现是拟合模型的参数很大。 为了防止过拟合 Total cost = measure of fit + measure of magnitude of coefficient ...
分类：
其他好文 时间：
2018-03-01 00:42:39
阅读次数：
203
Before you read This is a demo or practice about how to use Simple Linear Regression in scikit learn with python. Following is the package versi ...
分类：
其他好文 时间：
2018-02-28 22:57:29
阅读次数：
212
线性回归算法 解决回归问题 思想简单，容易实现 是许多强大的非线性模型的基础 结果具有很好的可解释性 蕴含机器学习中的很多重要思想 基本思想：寻找一条直线，最大程度的“拟合”样本特征和样本输出标记之间的关系 如横轴房屋面积，纵轴房屋价格 由实际值x(i)代入到拟合直线方程中得到的y_hat， 即y的 ...
分类：
其他好文 时间：
2018-02-28 17:34:38
阅读次数：
161
分类问题Classification 一些典型的分类问题，如： y的取值不是一条曲线，而是几个离散值。 逻辑回归模型Logistic regression的假设函数表达式 逻辑回归模型中，要使 0<=hθ(x)<=1，可令 其函数图像为 称其为Sigmoid Function或Logistic Fu ...
分类：
其他好文 时间：
2018-02-28 01:08:31
阅读次数：
167
局部加权线性回归(Locally weighted linear regression) 在线性回归中，特征选择不当时可能会造成过拟合和欠拟合。为了解决这个问题，引入局部加权回归，避免了线性回归中特征的选择，利用预测值周围的局部数据进行线性拟合。 首先我们来看一个线性回归的问题，在下面的例子中，我们 ...
分类：
其他好文 时间：
2018-02-26 23:25:53
阅读次数：
189
