在之前的相关文章中笔者给出了一般回归的补充，即岭回归和LASSO回归，它们都是为了解决在回归过程中的过拟合问题，其具体解决方案就分别是在目标函数后增加2范数和1范数以限定参数的表现，对于岭回归而言，由于2使用范数的原因，这个目标函数仍是可导的，但对于LASSO回归而言，..
分类：
其他好文 时间：
2017-11-02 18:22:33
阅读次数：
254
在函数中加入一个正则项： 三种方式： 一、Ridge回归（岭回归）： 优点：具有较高的准确性、鲁棒性以及稳定性 缺点：求解速度慢 二、Lasso回归： 优点：求解速度快（原理降维计算，把数据维度中存在的噪音和冗余去除） 缺点：相比Ridge回归没有较高的准确性、鲁棒性以及稳定性 三、弹性网络： 特点 ...
分类：
其他好文 时间：
2017-10-29 11:20:40
阅读次数：
452
一、简单的多元线性回归： data.txt 回归代码： 简单的得到一个变换的公式 y=b(1)+b(2)*x1+b(3)*x2+b(3)*x3; 二、ridge regression岭回归 其实就是在回归前对数据进行预处理，去掉一些偏差数据的影响。 1、一般线性回归遇到的问题 在处理复杂的数据的回归 ...
分类：
其他好文 时间：
2017-10-20 16:05:22
阅读次数：
258
1、PCA降维 降维有什么作用呢？数据在低维下更容易处理、更容易使用；相关特征，特别是重要特征更能在数据中明确的显示出来；如果只有两维或者三维的话，更便于可视化展示；去除数据噪声降低算法开销 常见的降维算法有主成分分析（principal component analysis,PCA）、因子分析（F ...
分类：
编程语言 时间：
2017-10-18 02:06:30
阅读次数：
1367
前言在之前的关于回归问题的讨论中，笔者主要给出了一般原始的线性回归模型（主要以最小二乘法形式进行的）以及其它两种主流的线性回归模型的补充内容，它们主要是为了解决样本之间存在线性相关性的问题，包括岭回归和LASSO回归。一般而言，对于多分类问题，我们希望能将样本的..
分类：
其他好文 时间：
2017-10-17 12:40:19
阅读次数：
188
在之前的文章中，笔者给出了关于最小二乘法相关公式的整体推导过程，最小二乘法本身除了可以利用数据进行相关参数的拟合（主要是系数和偏置），而且作为分类问题中最为简单的模型也有着重要作用，我们也可以将其称作最为简单的线性回归模型（以后需要涉及到支持向量机的问题，..
分类：
其他好文 时间：
2017-10-15 21:17:40
阅读次数：
198
转自穆晨 阅读目录 前言 基本线性回归解决方案 - 最小二乘法 最小二乘法的具体实现 局部加权线性回归 岭回归 具体方案的制定 小结 阅读目录 前言 基本线性回归解决方案 - 最小二乘法 最小二乘法的具体实现 局部加权线性回归 岭回归 具体方案的制定 小结 回到顶部 前言 本文将系统的介绍机器学习中 ...
分类：
其他好文 时间：
2017-10-08 16:53:09
阅读次数：
129
岭回归是带二范数惩罚的最小二乘回归。ols方法中，<img src="https://pic1.zhimg.com/716fd592b5b8cb384bd687710942dbc8_b.jpg" data-rawwidth="253" data-rawheight="50" c ...
分类：
其他好文 时间：
2017-07-30 00:14:08
阅读次数：
186
回归和分类是机器学习算法所要解决的两个主要问题。分类大家都知道，模型的输出值是离散值，对应着相应的类别，通常的简单分类问题模型输出值是二值的，也就是二分类问题。但是回归就稍微复杂一些，回归模型的输出值是连续的，也就是说，回归模型更像是一个函数，该函数通过不同的输入，得到不同的输出。 那么，什么是线性 ...
分类：
其他好文 时间：
2017-07-28 23:47:47
阅读次数：
311
岭回归的原理： 首先要了解最小二乘法的回归原理 设有多重线性回归模型 y=Xβ+ε ,参数β的最小二乘估计为 当自变量间存在多重共线性,|X'X|≈0时，设想|X'X|给加上一个正常数矩阵(k>0) 那么|X'X|+kI 接近奇异的程度就会比接近奇异的程度小得多。考虑到变量的量纲问题， 先要对数据标 ...
分类：
编程语言 时间：
2017-07-20 15:22:28
阅读次数：
326
