线性回归的一个问题可能是有可能出现欠拟合（如下图所示样本），因为它求的是具有最小均方误差的无偏估计。如果模型欠拟合将不能取得最好的预测效果。所以有些方法允许在估计中引入一些偏差，从而降低预测的均方误差。其中的一个方法是局部加权线性回归。在该算法中，我们给待预测点附近的每一个点赋予一定的权重，在这个子 ...
分类：
其他好文 时间：
2020-09-24 22:13:45
阅读次数：
81
1. 线性回归 核心公式： w = (XTX)-1XTY 流程伪代码： 核心代码： 2. 局部加权线性回归 （就是中间乘上权值W) 核心公式： 参数w = (XTWX)-1XTWY 权值Wi = exp( ||xi - x|| / ( -2*k2) ) 流程伪代码： 核心代码： ...
分类：
其他好文 时间：
2019-10-08 15:58:18
阅读次数：
116
通常我们使用的最小二乘都需要预先设定一个模型，然后通过最小二乘方法解出模型的系数。 而大多数情况是我们是不知道这个模型的，比如这篇博客中z=ax^2+by^2+cxy+dx+ey+f 这样的模型。 局部加权线性最小二乘就不需要我们预先知道待求解的模型，因为该方法是基于多个线性函数的叠加，最终只用到了 ...
分类：
其他好文 时间：
2019-02-03 12:55:22
阅读次数：
231
[TOC] 预测数值型数据：回归 代码中涉及的数学公式可以自己下载 Typora 这款软件后，把内容复制到.md文件内通过 Typora 打开 本章内容 线性回归 局部加权线性回归 岭回归和逐步线性回归 预测鲍鱼年龄和乐高玩具价格 前面的章节给大家介绍了监督学习的分类部分，接下来几章将会带领同学们翱 ...
分类：
其他好文 时间：
2019-01-06 13:37:02
阅读次数：
236
在分类回归树中之所以要先分类后回归的原因是，对于一般的线性回归是基于全部的数据集。这种全局的数据建模对于一些复杂的数据来说，其建模的难度会很大。所以我们改进为局部加权线性回归，其只利用数据点周围的局部数据进行建模，这样就简化了建模的难度，提高了模型的准确性。树回归也是一种局部建模的方法，其通过构建决策点将数据切分，在切分后的局部数据集上做回归操作。比如在前面博客中提到的风险预测问题，其实就是在特征
分类：
其他好文 时间：
2018-06-15 17:08:47
阅读次数：
1499
局部加权线性回归 线性回归的一个问题是有可能出现欠拟合现象，因为它求的是具有小均方误差的无偏估 计。显而易见，如果模型欠拟合将不能取得好的预测效果。所以有些方法允许在估计中引入一 些偏差，从而降低预测的均方误差。 其中的一个方法是局部加权线性回归（Locally Weighted Linear Re ...
分类：
其他好文 时间：
2018-06-10 11:40:06
阅读次数：
219
局部加权线性回归(Locally weighted linear regression) 在线性回归中，特征选择不当时可能会造成过拟合和欠拟合。为了解决这个问题，引入局部加权回归，避免了线性回归中特征的选择，利用预测值周围的局部数据进行线性拟合。 首先我们来看一个线性回归的问题，在下面的例子中，我们 ...
分类：
其他好文 时间：
2018-02-26 23:25:53
阅读次数：
189
监督学习 对于一个房价预测系统，给出房间的面积和价格，以面积和价格作坐标轴，绘出各个点。 定义符号： $x_{(i)}$表示一个输入特征$x$。 $y_{(i)}$表示一个输出目标$y$。 $(x_{(i)},y_{(i)})$表示一个训练样本。 $\left\{(x_{(i)},y_{(i)}); ...
分类：
编程语言 时间：
2018-02-07 19:48:40
阅读次数：
274
CS229 笔记03 局部加权线性回归 Non Parametric Learning Algorithm （非参数学习方法） Number of parameters grows with the size of sample. （参数的数目随着样本的数目增加而增加。） Locally Weigh ...
分类：
其他好文 时间：
2017-11-16 18:31:56
阅读次数：
136
一、纲要 线性回归的正规方程解法 局部加权线性回归 二、内容详述 1、线性回归的正规方程解法 线性回归是对连续型的数据进行预测。这里讨论的是线性回归的例子，对于非线性回归先不做讨论。这部分内容我们用的是正规方程的解法，理论内容在之前已经解释过了，正规方程为θ = (XT·X)-1·XT·y。值得注意 ...
分类：
编程语言 时间：
2017-11-04 14:49:45
阅读次数：
230
