岭回归sklearn的API：from sklearn.linear_model import Ridge 通过调节模型中的参数alpha的值来调节正则化的力度，力度越大高次项的系数越小，逐渐趋近于0，但是不会等于0，alpha一般去0-1之间的小数，或者1-10之间的整数，可以通过网格搜索去寻找最 ...
分类：
其他好文 时间：
2020-03-26 23:18:42
阅读次数：
169
""" 机器学习算法分类： 监督学习（有目标值） 分类（目标值是离散型数据）：K-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络 回归（目标值是连续型数据）：线性回归、岭回归 无监督学习（无目标值）：聚类 K-means 机器学习一般会把数据集划分为训练集（3/4）和测试集（1/4），可 ...
分类：
编程语言 时间：
2020-03-26 01:37:29
阅读次数：
103
K 近邻算法 作用：分类算法 优点：最简单、不需要训练、容易理解 缺点：计算复杂度高、空间复杂度高 原理：计算新数据与样本集中所有数据的欧式距离，提取距离最近的 K 个样本的标签，取 K 个样本里出现次数最多的标签，作为新数据的分类标签 决策树 ID3 作用：分类算法 优点：计算复杂度不高、容易理解 ...
分类：
编程语言 时间：
2020-02-09 09:54:44
阅读次数：
61
1 from sklearn.model_selection import train_test_split 2 from sklearn.linear_model import LinearRegression 3 from sklearn.datasets import load_diabete ...
分类：
其他好文 时间：
2020-02-01 12:58:02
阅读次数：
112
二、基本概念 1 有监督学习与无监督学习 根据样本数据是否带有标签值，可以将机器学习算法分成有监督学习和无监督学习两类。有监督学习的样本数据带有标签值，它从训练样本中学习得到一个模型，然后用这个模型对新的样本进行预测推断。有监督学习的典型代表是分类问题和回归问题。 无监督学习对没有标签的样本进行分析 ...
分类：
其他好文 时间：
2019-12-23 16:41:39
阅读次数：
140
本文采用 正规方程 、 梯度下降 、 带有正则化的岭回归 三种方法对BOSTON房价数据集进行分析预测，比较三种方法之间的差异 正规方程求解方式回归系数 [[ 0.10843933 0.13470414 0.00828142 0.08736748 0.2274728 0.25791114 0.018 ...
分类：
其他好文 时间：
2019-11-27 23:11:20
阅读次数：
155
第一阶段 机器学习基础与凸优化 【核心知识点】 - KNN，Weighted KNN、近似KNN - KD树，近似KD树、哈希算法、LSH - 岭回归、LASSO、ElasticNet - 正则：L1, L2, L-inifity Norm - LR、GD、SGD、小批量SGD - 凸集，凸函数、判 ...
分类：
其他好文 时间：
2019-11-12 16:14:59
阅读次数：
168
sklearn监督学习的各个模块 neighbors近邻算法,svm支持向量机,kernal_ridge核岭回归,discriminant_analysis判别分析,linear_model广义线性模型 ensemble集成方法,tree决策树,native_bayes朴素贝叶斯,cross_dec ...
分类：
编程语言 时间：
2019-10-31 17:52:59
阅读次数：
98
机器学习 正则化（岭回归、lasso）和前向逐步回归 本文代码均来自于《机器学习实战》 这三种要处理的是同样的问题，也就是数据的特征数量大于样本数量的情况。这个时候会出现矩阵不可逆的情况，为什么呢？ 矩阵可逆的条件是：1. 方阵 2. 满秩 X.t\ X必然是方阵（nxmxmxn=nxn,最终行列数 ...
分类：
其他好文 时间：
2019-10-19 14:43:12
阅读次数：
101
''' 岭回归： 普通线性回归模型使用基于梯度下降的最小二乘法，在最小化损失函数的前提下，寻找最优模型参数， 在此过程中，包括少数异常样本在内的全部训练数据都会对最终模型参数造成程度相等的影响， 异常值对模型所带来影响无法在训练过程中被识别出来。为此，岭回归在模型迭代过程所依据的损失函数中增加了正则... ...
分类：
其他好文 时间：
2019-07-14 09:37:12
阅读次数：
140
