码迷,mamicode.com
首页 > 其他好文 > 详细

课时五、boost与adaboost

时间:2020-07-15 01:15:23      阅读:72      评论:0      收藏:0      [点我收藏+]

标签:函数   code   数据   概念   agg   计算   分类方法   定义   算法   

提升的概念

技术图片

提升算法

技术图片

提升算法推导

技术图片
技术图片
技术图片

梯度提升决策树

技术图片
技术图片
技术图片

决策树的描述

技术图片

正则项的定义

技术图片

目标函数的计算

技术图片

  • 目标函数继续化简
    技术图片
  • 子树划分
    技术图片
    技术图片

Adaboost

技术图片
技术图片
技术图片
技术图片

误差上限

技术图片

方差与偏差

  • Bagging能够减少训练方差,对于不剪枝的决策树、神经网络等学习器有良好的集成效果
  • Boosting减少偏差,能够基于泛化能力较弱的学习器构造强学习器

boost算法

  • Boosting分类方法,其过程如下所示:

    • 先通过对N个训练数据的学习得到第一个弱分类器h1;

    • 将h1分错的数据和其他的新数据一起构成一个新的有N个训练数据的样本,通过对这个样本的学习得到第二个弱分类器h2;

    • 将h1和h2都分错了的数据加上其他的新数据构成另一个新的有N个训练数据的样本,通过对这个样本的学习得到第三个弱分类器h3;

    • 最终经过提升的强分类器h_final=Majority Vote(h1,h2,h3)。即某个数据被分为哪一类要通过h1,h2,h3的多数表决。

  • 上述Boosting算法,存在两个问题:

    • 如何调整训练集,使得在训练集上训练弱分类器得以进行。

    • 如何将训练得到的各个弱分类器联合起来形成强分类器。

bagging算法

技术图片

课时五、boost与adaboost

标签:函数   code   数据   概念   agg   计算   分类方法   定义   算法   

原文地址:https://www.cnblogs.com/linyk/p/13303219.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!