一、岭回归和 LASSO 回归的推导过程 1）岭回归和LASSO回归都是解决模型训练过程中的过拟合问题 具体操作：在原始的损失函数后添加正则项，来尽量的减小模型学习到的 θ 的大小，使得模型的泛化能力更强； 2）比较 Ridge 和 LASSO 名词 Ridge、LASSO：衡量模型正则化； MSE ...
分类：
其他好文 时间：
2018-07-13 20:23:20
阅读次数：
241
实现：# -*- coding: UTF-8 -*-import numpy as npfrom sklearn.linear_model import Ridge__author__ = 'zhen'X = 2 * np.random.rand(100, 1)y = 4 + 3 * X + np.... ...
分类：
编程语言 时间：
2018-07-08 18:05:57
阅读次数：
179
增加alpha，使得w更加倾向于0，从而提高泛化 ...
分类：
其他好文 时间：
2018-06-25 12:50:19
阅读次数：
169
ridge regression: 在最小二乘的基础上添加一个系数为α的惩罚项，惩罚项为参数向量2范数的平方，可以通过控制α来调节数据集的过拟合问题 拟合方法，参数调用与线性回归相同 岭回归优点：可以应用于高度坏条件矩阵（目标值的轻微改变会造成参数的大方差，数据曲线波动加剧，容易导致过拟合问题，因此 ...
分类：
其他好文 时间：
2018-06-06 15:40:55
阅读次数：
395
LinearRegressionimport sklearn ...
分类：
其他好文 时间：
2018-03-12 12:04:51
阅读次数：
208
import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression,Ridge,Lasso from sklearn.neighbors import KNeighb ...
分类：
编程语言 时间：
2018-03-10 11:54:16
阅读次数：
262
coursera 上的 华盛顿大学 machine learning： regression 第四周笔记 通常， 过拟合的一个表现是拟合模型的参数很大。 为了防止过拟合 Total cost = measure of fit + measure of magnitude of coefficient ...
分类：
其他好文 时间：
2018-03-01 00:42:39
阅读次数：
203
前面的文章对线性回归做了一个小结，文章在这： 线性回归原理小结。里面对线程回归的正则化也做了一个初步的介绍。提到了线程回归的L2正则化-Ridge回归，以及线程回归的L1正则化-Lasso回归。但是对于Lasso回归的解法没有提及，本文是对该文的补充和扩展。以下都用矩阵法表示，如果对于矩阵分析不熟悉 ...
分类：
编程语言 时间：
2018-02-06 23:07:54
阅读次数：
223
border属性 border-width border-style border-color inherit border-style的值：none dotted（点线） dashed（虚线） solid（实线） double（双线） groove（凹槽） ridge（凸起） inset outs ...
分类：
其他好文 时间：
2018-01-31 15:38:53
阅读次数：
170
这是最近看到的一个平时一直忽略但深入研究后发现这里面的门道还是很多,Linear Regression及其正则方法(主要是Lasso,Ridge, Elastic Net)这一套理论的建立花了很长一段时间,是很多很多人的论文一点点堆起来的一套理论体系.如果你只停留在知道简单的Linear Regre ...
分类：
其他好文 时间：
2018-01-28 20:52:56
阅读次数：
125
