模型参数 参数名 参数描述 可选值 boosting_type 模型提升方式 'gbdt'、'dart'、'goss'、'rf' num_leaves 每个基学习器的最大叶子 默认31 max_depth 基学习器树的最大深度 默认-1，没有限制 learning_rate boosting学习率 ...
分类：
编程语言 时间：
2021-04-27 14:19:07
阅读次数：
0
AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写。 Adaboost算法的思想：在前一轮识别过程中识别错误的样本会在下一轮中提升权重，而那些识别正确的样本会降低权重。 Adaboost算法的原理：（1）将每个样本的权重进行初始化。每一个样本的权重相同（2）训练弱分类 ...
分类：
编程语言 时间：
2021-04-21 11:50:08
阅读次数：
0
本文主要总结集成学习（ensemble learning）中一大类boosting模型--梯度提升。主要包括GBDT, XGBoost, LightBoost, CatBoost 这4种模型的原理，以及关于这4个模型的简单示例。 ...
分类：
其他好文 时间：
2020-09-08 20:50:31
阅读次数：
37
0、万恶之源版本号 tensorflow，pytorch，显卡版本，conda版本 1、什么是GBDT？ 2、xgboost在GBDT上做了哪些优化？ 3、随机森林核心思想有几个，分别是什么？ 1、gradient boosting decision tree 一种基于boosting增强策略的加法 ...
分类：
其他好文 时间：
2020-07-29 10:18:11
阅读次数：
78
提升的概念 提升算法 提升算法推导 梯度提升决策树 决策树的描述 正则项的定义 目标函数的计算 目标函数继续化简 子树划分 Adaboost 误差上限 方差与偏差 Bagging能够减少训练方差，对于不剪枝的决策树、神经网络等学习器有良好的集成效果 Boosting减少偏差，能够基于泛化能力较弱的学 ...
分类：
其他好文 时间：
2020-07-15 01:15:23
阅读次数：
72
#Chap 8 提升方法 Boosting 将多个弱的分类器合成为一个强分类器，且各分类器有关联 怎么得到各分类器呢，就是靠不断resample 和 reweighting你的training data 来形成一个新的数据： （source：https://www.youtube.com/watch ...
分类：
其他好文 时间：
2020-07-14 21:41:27
阅读次数：
77
boosting Boosting 算法的特点在于：将表现一般的弱分类器通过组合变成更好的模型。代表自然就是我们的随即森林了。 GBDT和Adaboost是boost算法中比较常见的两种，这里主要讲解Adaboost。 Adaboost Adaboost算法的核心就是两个权重。对于数据有一个权重，权 ...
分类：
编程语言 时间：
2020-06-21 09:50:32
阅读次数：
59
本节主要讲解如何使用集成学习来提高预测的精度 ###集成学习方法 在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法于具体验证集划分联系密切。 由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许，建 ...
分类：
其他好文 时间：
2020-05-31 13:16:39
阅读次数：
63
组合模型在信贷风控中的应用 简介：在包括违约预测在内的诸多场景中，越来越多的建模人员将模型集成的方式应用在实际工作中，并且取得了不错的成效。本节课将介绍三种基本的集成方式：Bagging，boosting，stacking。 目录： 1.元模型与集成模型 2.多模型的bagging 3.多模型的bo... ...
分类：
其他好文 时间：
2020-05-31 10:57:45
阅读次数：
80
有时提升一个模型的准确度很困难，尝试所有曾学习过的策略和算法，但模型的正确率并没有改善。 前面介绍的算法中，每种算法都有不同的适用范围，可以把多种机器学习算法组合在一起，这时提高算法准确度的有效方法之一。 接下来介绍如何通过scikit-learn来实现集成算法，包括： 装袋（Bagging）算法： ...
分类：
编程语言 时间：
2020-05-22 09:26:55
阅读次数：
52
