集成学习 原理 集成学习是将许多个弱学习器通过策略组合到一起的算法，弱学习器可以是树或是神经网络或者是其他。目前集成学习的方法分为两大类：bagging方法和boosting方法。 bagging与随机森林 bagging方法是从原始数据集中进行多次随机采样，每次采样多个样本。记为T个采样集，每个采 ...
分类：
其他好文 时间：
2020-01-15 11:48:13
阅读次数：
76
转自：https://www.jianshu.com/p/f66696c98e07 结合例子解释算法原理和过程，觉得容易理解，转来做个记录 1.决策树 决策树模型demo 随机森林模型demo 1.1从LR到决策树 相信大家都做过用LR来进行分类，总结一下LR模型的优缺点： 优点 适合需要得到一个分 ...
分类：
编程语言 时间：
2020-01-01 15:15:42
阅读次数：
151
Bagging算法： 凡解：给定M个数据集，有放回的随机抽取M个数据，假设如此抽取3组，3组数据一定是有重复的，所以先去重。去重后得到3组数据，每组数据量分别是s1,s2,s3，然后三组分别训练组合成一个强模型。如下图： 随机森林算法： 一般用于大规模数据，百万级以上的。 在Bagging算法的基础 ...
分类：
编程语言 时间：
2020-01-01 14:59:34
阅读次数：
94
前言 上篇 "文章" 介绍了 的相关概念以及基于 Boosting的 AdaBoost，这篇文章将介绍基于模型融合的另一种方式 Bagging 的算法，随机森林（Random Forest）。(上篇公式敲的太累了这篇就来个简单的缓解缓解) 随机森林 算法思想 我们先来看看这个算法的名字，可以拆分开为 ...
分类：
其他好文 时间：
2019-12-28 19:10:38
阅读次数：
325
R语言基于树的方法：决策树，随机森林，套袋Bagging，增强树 ...
分类：
编程语言 时间：
2019-12-26 12:54:46
阅读次数：
105
讲授集成学习的概念，Bootstrap抽样，Bagging算法，随机森林的原理，训练算法，包外误差，计算变量的重要性，实际应用 大纲： 集成学习简介 Boostrap抽样 Bagging算法 随机森林的基本原理 训练算法 包外误差 计算变量的重要性 实验环节 实际应用 随机森林是一种集成学习的算法， ...
分类：
其他好文 时间：
2019-12-15 12:33:49
阅读次数：
100
决策树是一种非参数监督学习预测模型。 决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。 1.举例: 举个校园相亲的例子，今天校园的小猫(女)和小狗(男)准备配对，小猫如何才能在众多的优质🐶的心仪的狗呢？于是呢？有一只特乖巧的小猫找到了你 ...
分类：
其他好文 时间：
2019-12-14 19:33:29
阅读次数：
127
认识 我觉得决策树+ 随机森林 应该是 ML 中最为重要的算法之一了吧, 反正我是很喜欢用的. 算法难度低, 可解释性很强, 能可视化 能处理非线性, 可扩展为随机森林(集成学习) 建立决策树的判别依据有很多, 比较主流的有经典的 ID3 算法(熵), C4.5 , 基尼系数等. 我是这种基于熵的理 ...
分类：
其他好文 时间：
2019-12-09 01:00:08
阅读次数：
117
08 决策树与随机森林 决策树之信息论基础 认识决策树 1. 来源： 决策树的思想来源非常朴素，程序设计中的条件分支结构就是if then 结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。 2. 举例：是否见相亲对象 信息的度量和作用 1. 克劳德 .艾尔伍德 .香农：信息论创始人，密 ...
分类：
其他好文 时间：
2019-11-25 23:55:16
阅读次数：
89
随机森林，顾名思义，是由众多决策树构建而成的算法。其最终输出由众多决策树根据投票决定（得票最多者获胜；或者得票超过一半输出，否则不输出。具体策略根据情况而定）。随机森林属于 集成学习 中的 Bagging（Bootstrap AGgregation 的简称） 方法。具体的，集成学习包含Boostin ...
分类：
其他好文 时间：
2019-11-25 11:33:38
阅读次数：
74
