# 导入第三方模块import pandas as pdimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import model_selectionfrom sklearn.linear_model import Ridge ...
分类：
其他好文 时间：
2018-12-03 21:09:42
阅读次数：
513
岭回归 1、原理 2、实例 使用岭回归 使用岭回归 使用岭回归 使用岭回归 岭回归一般用在样本值不够的时候 from sklearn import datasets # 从sklearn中获取数据集 diabetes = datasets.load_diabetes() # 加载糖尿病数据 data ...
分类：
其他好文 时间：
2018-11-22 18:20:00
阅读次数：
233
普通最小二乘法 损失函数： 权重计算： 1、对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。 2、当各项是相关的，且设计矩阵 X的各列近似线性相关，那么，设计矩阵会趋向于奇异矩阵，这会导致最小二乘估计对于随机误差非常敏感，产生很大的方差。 例如，在没有实验设计的情况下收集到的数据，这种 ...
分类：
其他好文 时间：
2018-11-16 22:35:22
阅读次数：
626
norm代表的是距离，两个向量的距离；下图代表的就是p-norm，其实是对向量里面元素的一种运算； 最简单的距离计算（规范）是欧式距离（Euclidean distance），两点间距离是如下来算的，属于L2-norm： 另外一种就是出租车距离（也称之为曼哈顿距离）：这是一种1-norm： L1-n... ...
分类：
其他好文 时间：
2018-09-19 23:31:58
阅读次数：
215
1. Shrinkage（缩减） Methods 当特征比样本点还多时（n>m），输入的数据矩阵X不是满秩矩阵，在求解(XTX)-1时会出现错误。接下来主要介绍岭回归（ridge regression）和前向逐步回归（Foward Stagewise Regression）两种方法。 1.1 岭回归 ...
分类：
其他好文 时间：
2018-08-26 18:21:18
阅读次数：
250
一、岭回归和 LASSO 回归的推导过程 1）岭回归和LASSO回归都是解决模型训练过程中的过拟合问题 具体操作：在原始的损失函数后添加正则项，来尽量的减小模型学习到的 θ 的大小，使得模型的泛化能力更强； 2）比较 Ridge 和 LASSO 名词 Ridge、LASSO：衡量模型正则化； MSE ...
分类：
其他好文 时间：
2018-07-13 20:23:20
阅读次数：
241
#岭回归主要是弥补在数据中出现异常值时，提高线性模型的稳定性，即鲁棒性robust import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn import linear_model impo ...
分类：
编程语言 时间：
2018-07-09 15:18:32
阅读次数：
695
实现：# -*- coding: UTF-8 -*-import numpy as npfrom sklearn.linear_model import Ridge__author__ = 'zhen'X = 2 * np.random.rand(100, 1)y = 4 + 3 * X + np.... ...
分类：
编程语言 时间：
2018-07-08 18:05:57
阅读次数：
179
什么是过拟合？在训练假设函数模型h时，为了让假设函数总能很好的拟合样本特征对应的真实值y，从而使得我们所训练的假设函数缺乏泛化到新数据样本能力。怎样解决过拟合过拟合会在变量过多同时过少的训练时发生，我们有两个选择，一是减少特征的数量，二是正则化，今天我们来重点来讨论正则化，它通过设置惩罚项让参数θ足够小，要让我们的代价函数足够小，就要让θ足够小，由于θ是特征项前面的系数，这样就使特征项趋近于零。岭
分类：
其他好文 时间：
2018-06-27 23:05:49
阅读次数：
303
什么是过拟合？ 在训练假设函数模型h时，为了让假设函数总能很好的拟合样本特征对应的真实值y，从而使得我们所训练的假设函数缺乏泛化到新数据样本能力。 怎样解决过拟合 过拟合会在变量过多同时过少的训练时发生，我们有两个选择，一是减少特征的数量，二是正则化，今天我们来重点来讨论正则化，它通过设置惩罚项让参 ...
分类：
其他好文 时间：
2018-06-27 22:15:45
阅读次数：
160
