一.简介 xgboost在集成学习中占有重要的一席之位，通常在各大竞赛中作为杀器使用，同时它在工业落地上也很方便，目前针对大数据领域也有各种分布式实现版本，比如xgboost4j-spark,xgboost4j-flink等。xgboost的基础也是gbm，即梯度提升模型，它在此基础上做了进一步优化 ...
分类：
编程语言 时间：
2021-07-05 19:03:36
阅读次数：
0
欠采样的逻辑中往往会结合集成学习来有效的使用数据，假设正例数据n，而反例数据m个。我们可以通过欠采样，随机无重复的生成（k=n/m）个反例子集，并将每个子集都与相同正例数据合并生成k个新的训练样本。我们在k个训练样本上分别训练一个分类器，最终将k个分类器的结果结合起来，比如求平均值。这就是一个简单的 ...
分类：
其他好文 时间：
2021-04-02 13:19:39
阅读次数：
0
github地址 机器学习概述 | 01 Matplotlib | 02 Numpy | 03 Pandas | 04 K-近邻算法 | 05 线性回归 | 06 逻辑回归 | 07 决策树算法 | 08 集成学习 | 09 聚类算法 | 10 ...
分类：
其他好文 时间：
2020-12-28 10:57:41
阅读次数：
0
XGBoos博客 \[ x+y=z \] XGBoost是一种以决策树（cart树）为基学习器的集成学习方法。 XGBoost的目标： \(Loss=\large{\sum\nolimits_{i=1}^{n}{l(y_i,\hat{y_i}) + \sum\nolimits_{k=1}^{T}{\ ...
分类：
其他好文 时间：
2020-10-18 10:15:10
阅读次数：
33
本文主要总结集成学习（ensemble learning）中一大类boosting模型--梯度提升。主要包括GBDT, XGBoost, LightBoost, CatBoost 这4种模型的原理，以及关于这4个模型的简单示例。 ...
分类：
其他好文 时间：
2020-09-08 20:50:31
阅读次数：
37
熟练《机器学习实战》和《花书》中的所有知识点 熟练《剑指Offer》中的所有知识点 熟练Pytorch操作 经常参加和复现Kaggle竞赛 数据降维：复现PCA、LE、LLE、LBP 集成学习：复现Kaggle竞赛前5名 强化学习：复现Kaggle竞赛前5名 深度学习：复现ImageNet竞赛上的一 ...
分类：
其他好文 时间：
2020-07-07 10:25:01
阅读次数：
85
一篇文章搞定GBDT、Xgboost和LightGBM的面试 丢丢 一枚永远找不到路的 路痴 GBDT和XGB基本上是机器学习面试里面的必考题。最近面试了五十场面试，基本三分之二的面试官都问了关于GBDT和XGB的问题。 下面把里面常用的知识点、常见的面试题整理出来 首先来说集成学习 集成学习 bo ...
分类：
其他好文 时间：
2020-07-03 21:40:21
阅读次数：
47
果然机器学习学起来要涵盖的主题真不少，初探了这么多了，还是可以不断发现新的主题。 参考资料：https://www.youtube.com/watch?v=tH9FH1DH5n0 Bagging (weighted) average or voting 使用情景：模型复杂，容易overfit，例如决 ...
分类：
其他好文 时间：
2020-06-29 23:00:15
阅读次数：
72
零、前言 一、机器学习概览 二、一个完整的机器学习项目 三、分类 四、训练模型 五、支持向量机 六、决策树 七、集成学习和随机森林 八、降维 十、使用 Keras 搭建人工神经网络 十一、训练深度神经网络 十二、使用 TensorFlow 自定义模型并训练 十三、使用 TensorFlow 加载和预 ...
分类：
其他好文 时间：
2020-06-28 12:40:18
阅读次数：
160
随机森林 | TensorFlow| 