集成学习基础 集成学习分类 Boosting 采用串行的方式，各个基学习器之间有依赖 基本思路：将基学习器层层叠加，每一层训练时，对前一层分错的样本，给予更高的权重。测试时，根据各层学习器的结果加权融合 AdaBoost Bagging 各基学习器之间无强依赖，可以并行训练 基于决策树基学习器的Ra ...
分类：
其他好文 时间：
2019-11-24 17:36:26
阅读次数：
93
首先强调一下，这篇文章适合有很好的基础的人 梯度下降 这里不系统讲，只介绍相关的点，便于理解后文 先放一个很早以前写的 梯度下降 实现 logistic regression 的代码 def tiduxiajiang(): """梯度下降算法""" alpha=0.000001 # 学习率的确定方法 ...
分类：
其他好文 时间：
2019-11-11 12:31:26
阅读次数：
118
偏差（Bias）与方差（Variance） 目录： 为什么会有偏差和方差？ 偏差、方差、噪声是什么？ 泛化误差、偏差和方差的关系？ 用图形解释偏差和方差。 偏差、方差窘境。 偏差、方差与过拟合、欠拟合的关系？ 偏差、方差与模型复杂度的关系？ 偏差、方差与bagging、boosting的关系？ 偏差 ...
分类：
其他好文 时间：
2019-10-23 18:37:53
阅读次数：
105
在集成学习（一）中介绍过，Bagging(bootstrap aggregation)是一种增强模型多样性，降低方差的有效手段，特别适用于高方差，低偏差的模型，例如决策树，注意到Bagging也是一种可并行模型，而Boosting是一种顺序模型，是一类由弱学习器提升到强学习器的算法。注意到，对于绝大 ...
分类：
其他好文 时间：
2019-10-17 01:18:23
阅读次数：
151
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# AdaBoost算法集成学习中弱学习器之间有强依赖关系的，称之为Boosting系列算法，而AdaBoost则是... ...
分类：
编程语言 时间：
2019-10-16 18:13:19
阅读次数：
111
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# 梯度提升树梯度提升树(gradien boosting decision tree，GBDT)在工业上用途广泛，... ...
分类：
其他好文 时间：
2019-10-16 17:53:57
阅读次数：
80
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# Bagging算法和随机森林集成学习主要分成两个流派，其中一个是Boosting算法，另一个则是本文要讲的Bag... ...
分类：
其他好文 时间：
2019-10-16 17:42:44
阅读次数：
96
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# 提升树提升树(boosting tree)是以分类树或回归树作为弱学习器的强学习器。提升树模型用的是加法模型，算... ...
分类：
其他好文 时间：
2019-10-16 17:40:32
阅读次数：
106
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# XgBoost算法XgBoost算法(eXtreme Gradient Boosting)属于Boosting系... ...
分类：
编程语言 时间：
2019-10-16 17:34:15
阅读次数：
102
入门认知 集成学习：集成多个学习器来完成学习任务。主要分为两类：Bagging和Boosting。 Bagging：自举汇聚法，从样本种随机取出n个样本作为训练样本，用完放回，这样进行k次得到K个训练集（这K个训练集中的样本可能有相同的，也可能相互之间完全不一样），这样使用K个训练器（可以一样，也可 ...
分类：
其他好文 时间：
2019-10-06 14:57:11
阅读次数：
116
