本讲大纲：
1.局部加权线性回归（locally weighted linear regression）
给定一个数据集，根据x预测y.
最左边的函数为，并不能很好的拟合数据；
中间的加了一个额外的特性，函数为，稍微更好地拟合了数据；
似乎我们增加越多的特性，拟合程度越好；但是增加太多的特性是很危险的，最右边的图是一个五阶的多项式，虽然很好的拟合了给定的数据集，但是这个...
分类：
其他好文 时间：
2016-03-29 10:49:25
阅读次数：
191
线性回归
用线性回归找到最佳拟合直线回归的目的是预测数值型数据，根据输入写出一个目标值的计算公式，这个公式就是回归方程（regression equation），变量前的系数（比如一元一次方程）称为回归系数（regression weights）。求这些回归系数的过程就是回归。假设输入数据存放在矩阵X X中，回归系数存放在向量w w中，那么对于数据X 1 X_1的预测结果可以用Y 1 =X T...
分类：
其他好文 时间：
2015-10-18 10:04:10
阅读次数：
836
本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前，先讲解两个概念：欠拟合、过拟合，由此引出局部加权线性回归算法。
欠拟合、过拟合
如下图中三个拟合模型。第一个是一个线性模型，对训练数据拟合不够好，损失函数取值较大。如图中第二个模型，如果我们在线性模型上加一个新特征项，拟合结果就会好一些。图中第三个是一个包含5阶多项式的模型，对训练数据几乎完美拟合。
...
分类：
其他好文 时间：
2015-08-17 08:48:14
阅读次数：
183
本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前，先讲解两个概念：欠拟合、过拟合，由此引出局部加权线性回归算法。欠拟合、过拟合 如下图中三个拟合模型。第一个是一个线性模型，对训练数据拟合不够好，损失函数取值较大。如图中第二个模型，如果我们在线性模型上加一个新特征项，拟合结果就会好一些.....
分类：
其他好文 时间：
2015-08-05 20:20:46
阅读次数：
312
线性回归容易出现过拟合或欠拟合的问题。局部加权线性回归是一种非参数学习方法，在对新样本进行预测时，会根据新的权值，重新训练样本数据得到新的参数值，每一次预测的参数值是不相同的。权值函数：t用来控制权值的变化速率（建议对于不同的样本，先通过调整t值确定合适的t）不同t值下的权值函数图像：局部加权线性回...
分类：
其他好文 时间：
2015-06-07 18:41:19
阅读次数：
4194
PART 1 欠拟合与过拟合的概念在拟合的时候如果拟合不好就会出现这两种情况欠拟合：就是拟合结果不够贴近样本数据。如图： 过拟合：因为拟合过于靠近样本点导致无法很好反映出总体的变化趋势PART 2 局部加权线性回归概念：简单的说就是在一个小区间内拟合出一条直线，并用结果来预测小区间内的...
分类：
其他好文 时间：
2015-05-13 12:05:42
阅读次数：
230
前言 前文讨论的回归算法都是全局且针对线性问题的回归，即使是其中的局部加权线性回归法，也有其弊端(具体请参考前文：) 采用全局模型会导致模型非常的臃肿，因为需要计算所有的样本点，而且现实生活中很多样本都有大量的特征信息。 另一方面，实际生活中更多的问题都是非线性问题。 针对这些问题，有了树回...
分类：
编程语言 时间：
2015-01-05 18:05:58
阅读次数：
241
线性回归算法优缺点：优点：结果易于理解，计算不复杂缺点：对非线性数据拟合不好适用数据类型：数值型和标称型算法思想：这里是采用了最小二乘法计算（证明比较冗长略去）。这种方式的优点是计算简单，但是要求数据矩阵X满秩，并且当数据维数较高时计算很慢；这时候我们应该考虑使用梯度下降法或者是随机梯度下降（同Lo...
分类：
其他好文 时间：
2014-12-06 01:21:06
阅读次数：
892
前面介绍线性回归，但实际中，用线性回归去拟合整个数据集是不太现实的，现实中的数据往往不是全局线性的 当然前面也介绍了局部加权线性回归，这种方法有些局限 这里介绍另外一种思路，树回归 基本思路，用决策树将数据集划分成若干个子集，然后再子集上再用线性回归进行拟合 决策树是种贪心算法，最简单典型的决策树算...
分类：
其他好文 时间：
2014-09-12 18:41:13
阅读次数：
350
机器学习就是把无序的数据转换成有用的信息。
机器学习的主要任务就是分类，通过通过训练数据训练算法，最终可以将实际的数据分到合适的类别中
监督学习算法：预测目标变量的值
k-means算法，线性回归
朴素贝叶斯算法，局部加权线性回归
支持向量机，ridge回归
决策树，lasso最小回归系数估计
无监督学习算法：不需要预测目标变量的值
k-均值，最大期望算法
DBS...
分类：
其他好文 时间：
2014-08-22 14:28:59
阅读次数：
340
