本质上lightgbm和xgboost都是基于分类回归树集成的学习算法，所以他们也会有一些先天缺陷：当训练数据的特征都集中在一个区间内，而测试数据偏离该区间较大时会出现不能拟合的情况，根本原因是因为分类回归树对于某一个叶子节点上的数据的目标值是采取该叶子节点的目标值均值做梯度提升最终确定预测值的。比如我有个数据如下：x,y1,12,23,34,45,56,67,78,89,910,1011,111
分类：
其他好文 时间：
2018-06-24 11:44:43
阅读次数：
228
这两个算法都是集成学习了分类回归树模型，先讨论是怎么集成的。集成的方法是GradientBoosting比如我要拟合一个数据如下：第一次建了一个模型如上图中的折线，效果不是很理想，然后要新建一个模型来综合一下结果，那么第二个模型如何建，我们将实际目标值和我们第一个模型的预测的差值作为第二次模型的目标值如下图再建一个模型：然后不断地新建新的模型，过程如下：最后就能集成这些模型不断提升预测的精度。步骤
分类：
其他好文 时间：
2018-06-22 13:15:22
阅读次数：
171
在分类回归树中之所以要先分类后回归的原因是，对于一般的线性回归是基于全部的数据集。这种全局的数据建模对于一些复杂的数据来说，其建模的难度会很大。所以我们改进为局部加权线性回归，其只利用数据点周围的局部数据进行建模，这样就简化了建模的难度，提高了模型的准确性。树回归也是一种局部建模的方法，其通过构建决策点将数据切分，在切分后的局部数据集上做回归操作。比如在前面博客中提到的风险预测问题，其实就是在特征
分类：
其他好文 时间：
2018-06-15 17:08:47
阅读次数：
1499
1.cart n. 二轮运货马车 vt. 用车装载 vi. 驾运货马车；用运货车运送 网络释义:购物车,小车,球车,分类与回归树 例:This would allow the server application to identify the cart from which it should a ...
分类：
其他好文 时间：
2018-05-21 01:02:41
阅读次数：
175
第一次调整Boosting算法的参数可能是一个非常艰难的任务。有很多参数可供选择，调整不同的参数会有不同的结果产生。最好的调参可能是取决于数据。每当我得到一个新的数据集，我都会学到一些新的东西。对分类和回归树（CART）有很好的理解有助于我们理解boosting 我最喜欢的Boosting包是xgb ...
分类：
其他好文 时间：
2018-05-18 13:45:01
阅读次数：
211
分类回归树（Classification and Regression Tree，CART） 在构建回归树时，主要有两种不同的树： 回归树(Regression Tree)，其每个叶节点是单个值 模型树(Model Tree)，其每个叶节点是一个线性方程 回归树(Regression Tree)，其 ...
分类：
其他好文 时间：
2018-05-11 17:32:00
阅读次数：
152
1、Adaboost算法原理，优缺点： 理论上任何学习器都可以用于Adaboost.但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。 Adaboost算法可以简述为三个步骤： （1）首先 ...
分类：
其他好文 时间：
2018-05-06 12:13:01
阅读次数：
15120
python3 学习api的使用 git: https://github.com/linyi0604/MachineLearning 代码： ...
分类：
编程语言 时间：
2018-04-29 22:08:14
阅读次数：
637
1. 概念决策树是通过一系列规则对数据进行分类的过程，它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部节点和叶节点，内部节点表示一个特征或属性，叶节点表示一个类。直观看上去，决策树分类器就像判断模块和终止块组成的流程图
分类：
编程语言 时间：
2018-04-16 21:58:19
阅读次数：
202
一、原理部分： 还是图片显示~ 二、sklearn实现 1、回归树 决策树做回归也太差了吧，难道是我调参有问题吗？一会试试调参看看 决策回归树的误差： 667.87208618 还是没啥用，好差的效果，同样的数据，前面线性回归的均方误差才二十几 决策回归树的误差： 643.989924585 2、分 ...
分类：
其他好文 时间：
2018-04-12 23:26:55
阅读次数：
246
