在介绍岭回归算法与Lasso回归算法之前，先要回顾一下线性回归算法。根据线性回归模型的参数估计公式可知可知，得到的前提是矩阵可逆。换句话说就是样本各个特征（自变量）之间线性无关。然而在实际问题中，常常会出现特征之间出现多重共线性的情况，使得行列式的值接近于0，最终造成回归系数无解或者无意义。 为了解 ...
分类：
编程语言 时间：
2019-05-12 18:27:21
阅读次数：
351
本文简单介绍了线性回归、lasso回归和岭回归，主要说明为什么 lasso 更容易使部分权重变为 0 而 ridge 不行，或者说为什么 lasso 可以进行 feature selection，而 ridge 不行。 ...
分类：
其他好文 时间：
2019-05-11 21:12:13
阅读次数：
111
分类与预测 分类主要是预测分类标号（离散属性），预测是建立连续值函数模型，预测给定自变量的因变量的值。 常用的分类与预测算法 | 算法名称 | 算法简介 | | : | : | | 回归分析 | 回归分析是确定预测属性（数值型）与其他变量间相互依赖的定量关系最常用的统计学方法。包括线性回归，非线性回 ...
分类：
其他好文 时间：
2019-04-16 01:19:20
阅读次数：
138
1、回归算法分类算法的目标值是标称型数据，而回归的目标变量是连续型数据，主要包括线性回归，岭回归，lasso回归，前向逐步回归。2、线性回归线性回归主要用于处理线性数据，结果易于理解，计算复杂度不高，但是处理不了非线性数据。线性回归用最适直线(回归线)去建立因变量Y和一个或多个自变量X之间的关系。可以用公式来表示：Y=wX+b。其中w为权重，也称为回归系数，b为偏置顶。3、理解线性回归线性回归从高
分类：
其他好文 时间：
2019-01-29 18:32:15
阅读次数：
236
岭回归案例分析 岭回归案例分析 def linearmodel(): """ 线性回归对波士顿数据集处理 :return: None """ # 1、加载数据集 ld = load_boston() x_train,x_test,y_train,y_test = train_test_split(l ...
分类：
其他好文 时间：
2019-01-21 17:10:47
阅读次数：
215
1.最小二乘法解的的推导，几何意义解释最小二乘法 2.从概率的角度解释最小二乘法 结论：最小二乘法等价于最大似然估计(条件是噪音需要满足高斯分布) 3. L2正则化 岭回归 4. 从概率的角度看正则化 结论：正则化之后的最小二乘法等价于最大后验概率估计(条件是噪音和先验分布都满足高斯分布) ...
分类：
其他好文 时间：
2019-01-15 17:12:00
阅读次数：
233
以kaggle上的House Prices: Advanced Regression Techniques为例讲述线性回归 1、回归模型 （1）一般线性回归：Linear Regression without regularization （2）岭回归：Linear Regression with ...
分类：
其他好文 时间：
2019-01-13 21:14:38
阅读次数：
170
1.L2正则化(岭回归) 1.1问题 想要理解什么是正则化，首先我们先来了解上图的方程式。当训练的特征和数据很少时，往往会造成欠拟合的情况，对应... ...
分类：
编程语言 时间：
2019-01-09 00:34:49
阅读次数：
264
[TOC] 预测数值型数据：回归 代码中涉及的数学公式可以自己下载 Typora 这款软件后，把内容复制到.md文件内通过 Typora 打开 本章内容 线性回归 局部加权线性回归 岭回归和逐步线性回归 预测鲍鱼年龄和乐高玩具价格 前面的章节给大家介绍了监督学习的分类部分，接下来几章将会带领同学们翱 ...
分类：
其他好文 时间：
2019-01-06 13:37:02
阅读次数：
236
前言 上面我们介绍了线性回归, 岭回归, Lasso回归, 今天我们来看看另外一种模型—"逻辑回归". 虽然它有"回归"一词, 但解决的却是分类问题 目录 1. 逻辑回归 2. 优缺点及优化问题 3. 实际案例应用 4. 总结 正文 在前面所介绍的线性回归, 岭回归和Lasso回归这三种回归模型中, ...
分类：
编程语言 时间：
2019-01-02 13:32:35
阅读次数：
244
