正则化 L1范数 蓝色的是范数的解空间,红色的是损失函数的解空间.L2范数和损失函数的交点处一般在坐标轴上,会使$\beta=0$,当然并不一定保证交于坐标轴,但是通过实验发现大部分可以得到稀疏解. L2范数 蓝色的是范数的解空间;红色的是损失函数的解空间.当两个空间相交时得到目标函数的一个解. 增 ...
分类：
其他好文 时间：
2018-12-10 20:48:42
阅读次数：
1161
Gradient Tree Boosting 梯度树提升GTB，又叫做gradient boosting regression tree梯度提升回归树GBRT，有叫做gradient boosting decision tree梯度提升回归树GBDT GBDT 的优点: 对混合型数据的自然处理（异构 ...
分类：
其他好文 时间：
2018-12-10 11:33:19
阅读次数：
465
Adaboost和GBDT的区别以及xgboost和GBDT的区别 以下内容转自 https://blog.csdn.net/chengfulukou/article/details/76906710 ，本文主要用作记录收藏 AdaBoost VS GBDT 和AdaBoost一样，Gradient ...
分类：
其他好文 时间：
2018-12-04 21:12:03
阅读次数：
193
# 导入第三方包import pandas as pdimport matplotlib.pyplot as plt # 读入数据default = pd.read_excel(r'F:\\python_Data_analysis_and_mining\\14\\default of credit ...
分类：
其他好文 时间：
2018-12-03 21:42:06
阅读次数：
343
1. 前言 如果读了我之前的几篇集成学习的博文，相信读者们已经都对集成学习大部分知识很有了详细的学习。今天我们再来一个提升，就是我们的集大成者GBDT。GBDT在我们的Kaggle的比赛中基本获得了霸主地位，大部分的问题GBDT都能获得异常好的成绩。 2. GBDT原理 GBDT的中文名叫梯度提升树 ...
分类：
其他好文 时间：
2018-11-17 11:54:27
阅读次数：
200
1. 前言 相信看了之前关于集成学习的介绍，大家对集成学习有了一定的了解。本文在给大家介绍下远近闻名的随机森林（RF）算法。 随机森林是集成学习中可以和梯度提升树GBDT分庭抗礼的算法，尤其是它可以很方便的并行训练，在如今大数据大样本的的时代很有诱惑力。 2. 随机森林原理 随机森林是Bagging ...
分类：
其他好文 时间：
2018-11-16 18:50:02
阅读次数：
285
GBDT 全称 Gradient Boosting Decision Tree，梯度提升决策树。 梯度增强决策树的思想来源于两个地方，首先是增强算法（Boosting），然后是梯度增强（Gradient Boosting）的想法。 增强算法是一种试图用弱学习器提升为强学习器的算法。这种算法中比较成熟 ...
分类：
其他好文 时间：
2018-10-23 00:10:09
阅读次数：
165
Iris数据集 这是一个有6个样本的三分类问题。我们需要根据这个花的花萼长度，花萼宽度，花瓣长度，花瓣宽度来判断这个花属于山鸢尾，杂色鸢尾，还是维吉尼亚鸢尾。具体应用到gbdt多分类算法上面。我们用一个三维向量来标志样本的label。[1,0,0] 表示样本属于山鸢尾，[0,1,0] 表示样本属于杂 ...
分类：
其他好文 时间：
2018-10-01 16:31:51
阅读次数：
1852
