参考资料 台湾大学 《机器学习基石》视频 Ng 《机器学习》视频 周志华《机器学习》 "线性回归原理小结" "Lasso回归算法： 坐标轴下降法与最小角回归法小结" [TOC] 写作提纲 1. 基础线性回归模型&损失函数 2. 优化方法（极小化损失函数） 1. 最小二乘法 OLS 代数法解法 矩阵法 ...
分类：
其他好文 时间：
2019-01-26 22:40:43
阅读次数：
270
1.L2正则化(岭回归) 1.1问题 想要理解什么是正则化，首先我们先来了解上图的方程式。当训练的特征和数据很少时，往往会造成欠拟合的情况，对应... ...
分类：
编程语言 时间：
2019-01-09 00:34:49
阅读次数：
264
前言 上面我们介绍了线性回归, 岭回归, Lasso回归, 今天我们来看看另外一种模型—"逻辑回归". 虽然它有"回归"一词, 但解决的却是分类问题 目录 1. 逻辑回归 2. 优缺点及优化问题 3. 实际案例应用 4. 总结 正文 在前面所介绍的线性回归, 岭回归和Lasso回归这三种回归模型中, ...
分类：
编程语言 时间：
2019-01-02 13:32:35
阅读次数：
244
L1和L2在不同领域的不同叫法机器学习领域：正则化项统计学领域：惩罚项数学领域：范数Lasso和Ridge回归在Lasso回归中正则化项是用的L1，L1是绝对值距离也叫做哈曼顿距离。Lasso回归可以压缩一些系数，把一些系数变为0，是一种处理具有复共线性数据的有偏估计。在Ridge回归中正则化项是用... ...
分类：
其他好文 时间：
2018-12-23 15:28:23
阅读次数：
147
# 导入第三方模块import pandas as pdimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import model_selectionfrom sklearn.linear_model import Ridge ...
分类：
其他好文 时间：
2018-12-03 21:09:42
阅读次数：
513
普通最小二乘法 损失函数： 权重计算： 1、对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。 2、当各项是相关的，且设计矩阵 X的各列近似线性相关，那么，设计矩阵会趋向于奇异矩阵，这会导致最小二乘估计对于随机误差非常敏感，产生很大的方差。 例如，在没有实验设计的情况下收集到的数据，这种 ...
分类：
其他好文 时间：
2018-11-16 22:35:22
阅读次数：
626
norm代表的是距离，两个向量的距离；下图代表的就是p-norm，其实是对向量里面元素的一种运算； 最简单的距离计算（规范）是欧式距离（Euclidean distance），两点间距离是如下来算的，属于L2-norm： 另外一种就是出租车距离（也称之为曼哈顿距离）：这是一种1-norm： L1-n... ...
分类：
其他好文 时间：
2018-09-19 23:31:58
阅读次数：
215
一、岭回归和 LASSO 回归的推导过程 1）岭回归和LASSO回归都是解决模型训练过程中的过拟合问题 具体操作：在原始的损失函数后添加正则项，来尽量的减小模型学习到的 θ 的大小，使得模型的泛化能力更强； 2）比较 Ridge 和 LASSO 名词 Ridge、LASSO：衡量模型正则化； MSE ...
分类：
其他好文 时间：
2018-07-13 20:23:20
阅读次数：
241
弹性网络回归算法是综合lasso回归和岭回归的一种回归算法，通过在损失函数中增加L1正则和L2正则项，进而控制单个系数对结果的影响 ...
分类：
编程语言 时间：
2018-06-12 16:10:10
阅读次数：
179
线性回归的一般形式 过拟合问题及其解决方法 问题：以下面一张图片展示过拟合问题 解决方法：(1)：丢弃一些对我们最终预测结果影响不大的特征，具体哪些特征需要丢弃可以通过PCA算法来实现；(2)：使用正则化技术，保留所有特征，但是减少特征前面的参数θ的大小，具体就是修改线性回归中的损失函数形式即可，岭 ...
分类：
其他好文 时间：
2018-05-05 23:07:32
阅读次数：
224
