在介绍岭回归算法与Lasso回归算法之前，先要回顾一下线性回归算法。根据线性回归模型的参数估计公式可知可知，得到的前提是矩阵可逆。换句话说就是样本各个特征（自变量）之间线性无关。然而在实际问题中，常常会出现特征之间出现多重共线性的情况，使得行列式的值接近于0，最终造成回归系数无解或者无意义。 为了解 ...
分类：
编程语言 时间：
2019-05-12 18:27:21
阅读次数：
351
本文简单介绍了线性回归、lasso回归和岭回归，主要说明为什么 lasso 更容易使部分权重变为 0 而 ridge 不行，或者说为什么 lasso 可以进行 feature selection，而 ridge 不行。 ...
分类：
其他好文 时间：
2019-05-11 21:12:13
阅读次数：
111
选框-Marquee(M) 移动-move(V) 套索-Lasso(L) 魔棒-Wand(W) 喷枪-injection lance (J) 画笔-Brush (B) 铅笔-pencil(N) 橡皮图章-rubbr-stamp(s) 历史记录画笔-history brush tool (Y) 橡皮擦 ...
分类：
其他好文 时间：
2019-04-24 22:17:43
阅读次数：
195
import pandas as pd import numpy as np from sklearn.linear_model import Lasso from sklearn.ensemble import GradientBoostingRegressor from sklearn.pipe... ...
分类：
其他好文 时间：
2019-04-08 11:56:20
阅读次数：
214
1、回归算法分类算法的目标值是标称型数据，而回归的目标变量是连续型数据，主要包括线性回归，岭回归，lasso回归，前向逐步回归。2、线性回归线性回归主要用于处理线性数据，结果易于理解，计算复杂度不高，但是处理不了非线性数据。线性回归用最适直线(回归线)去建立因变量Y和一个或多个自变量X之间的关系。可以用公式来表示：Y=wX+b。其中w为权重，也称为回归系数，b为偏置顶。3、理解线性回归线性回归从高
分类：
其他好文 时间：
2019-01-29 18:32:15
阅读次数：
236
参考资料 台湾大学 《机器学习基石》视频 Ng 《机器学习》视频 周志华《机器学习》 "线性回归原理小结" "Lasso回归算法： 坐标轴下降法与最小角回归法小结" [TOC] 写作提纲 1. 基础线性回归模型&损失函数 2. 优化方法（极小化损失函数） 1. 最小二乘法 OLS 代数法解法 矩阵法 ...
分类：
其他好文 时间：
2019-01-26 22:40:43
阅读次数：
270
1. 前言 我们之前有介绍过 "4. EM算法 高斯混合模型GMM详细代码实现" ，在那片博文里面把GMM说涉及到的过程，可能会遇到的问题，基本讲了。今天我们升级下，主要一起解析下EM算法中GMM（搞事混合模型）带惩罚项的详细代码实现。 2. 原理 由于我们的极大似然公式加上了惩罚项，所以整个推算的 ...
分类：
编程语言 时间：
2019-01-16 21:49:46
阅读次数：
195
1.L2正则化(岭回归) 1.1问题 想要理解什么是正则化，首先我们先来了解上图的方程式。当训练的特征和数据很少时，往往会造成欠拟合的情况，对应... ...
分类：
编程语言 时间：
2019-01-09 00:34:49
阅读次数：
264
前言 上面我们介绍了线性回归, 岭回归, Lasso回归, 今天我们来看看另外一种模型—"逻辑回归". 虽然它有"回归"一词, 但解决的却是分类问题 目录 1. 逻辑回归 2. 优缺点及优化问题 3. 实际案例应用 4. 总结 正文 在前面所介绍的线性回归, 岭回归和Lasso回归这三种回归模型中, ...
分类：
编程语言 时间：
2019-01-02 13:32:35
阅读次数：
244
L1和L2在不同领域的不同叫法机器学习领域：正则化项统计学领域：惩罚项数学领域：范数Lasso和Ridge回归在Lasso回归中正则化项是用的L1，L1是绝对值距离也叫做哈曼顿距离。Lasso回归可以压缩一些系数，把一些系数变为0，是一种处理具有复共线性数据的有偏估计。在Ridge回归中正则化项是用... ...
分类：
其他好文 时间：
2018-12-23 15:28:23
阅读次数：
147
