判别方法 ：由数据直接学习 决策函数 Y=f(X),或者由条件分布概率P(Y|X)作为预测模型为判别模型。 常见的 判别模型 有线性回归、boosting、SVM、决策树、感知机、线性判别分析(LDA)、逻辑斯蒂回归等算法。 生成方法 ：由数据学习x和y的 联合概率密度分布函 数P(Y,X)，然后通 ...
分类：
其他好文 时间：
2020-04-04 16:16:08
阅读次数：
86
https://www.cnblogs.com/earendil/p/8872001.html 原理 过程 区别 为什么说bagging是减少variance，而boosting是减少bias？ ...
分类：
其他好文 时间：
2020-03-23 00:02:48
阅读次数：
77
随机森林和adaboost都是集成学习比较经典的模型 随机森林和adaboost所使用的思想不同 随机森林运用bagging的思想，相当于并行，利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候决定测试样本的最终类别 adaboost运用boosting的思想，是一种迭代算法，针对同一 ...
分类：
其他好文 时间：
2020-03-15 20:30:34
阅读次数：
91
一、基本概念 GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。 GBDT通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。 弱分类器一般会选择为CART TREE（也就是分类回归树）。 每一轮预测和实际值有残差，下 ...
分类：
其他好文 时间：
2020-03-12 17:13:44
阅读次数：
71
Boosting&kmeans&特征工程 [TOC] 1 Boosting 1.1 Boosting的由来 古语云：三个臭皮匠，顶一个诸葛亮。而在机器学习领域，集成算法Boosting就是一个活生生的实例。Boosting和之前介绍过的Bagging相似，都是集成算法之一。Boosting通过整合多 ...
分类：
其他好文 时间：
2020-03-11 18:12:53
阅读次数：
48
xgboost（eXtreme Gradient Boosting） 大规模并行 boosting tree 的工具，据说是现在最好用的 boosting 算法，针对传统 GBDT 算法做了很多改进 xgboost 和传统 GBDT 的区别 GBDT 基学习器只用 CART 树，而 xgboost ...
分类：
编程语言 时间：
2020-03-07 20:57:18
阅读次数：
95
1、概述 决策树及树集（算法）是用于机器学习任务的分类和回归的流行方法。决策树被广泛使用，因为它们易于解释，处理分类特征，扩展到多类分类设置，不需要特征缩放，并且能够捕获非线性和特征交互。树集分类算法（例如随机森林和boosting）在分类和回归任务中表现最佳。 spark.ml实现使用连续和分类特 ...
分类：
其他好文 时间：
2020-03-03 17:46:25
阅读次数：
96
不同的分类算法各有优缺点，可以将不同的分类器组合起来 这种组合被称为集成方法（ensemble method）或者元算法（meta algorithm） 使用集成方法有多种形式 ○?可以是不同算法的集成 ○?可以是同一算法在不同设置下的集成 ○?可以是数据集不同部分分配给不同 ...
分类：
编程语言 时间：
2020-02-29 20:45:23
阅读次数：
100
目录 简述集成学习 Boosting介绍 AdaBoost算法 GBDT算法 总结 一、简述集成学习 上一篇博文已经介绍了：集成算法是由多个弱学习器组成的算法，根据个体学习器的生成方式不同，集成算法分成两类： 个体学习器之间不存在强依赖关系，可以并行化生成每个个体学习器，这一类的代表是Bagging ...
分类：
其他好文 时间：
2020-02-24 00:10:39
阅读次数：
98
如何成为一名AI工程师 step 1. 前端：js，html，找准方向开始累积知识！ 2. 计算机/数学专业 3. python anaconda IDE pycharm/jupyter 4. 熟悉基础语法，了解数据结构 刷leetcode，剑指offer 5. 熟悉基础数学知识 6. 机器学习入门 ...
分类：
其他好文 时间：
2020-02-20 20:07:42
阅读次数：
73
