码迷,mamicode.com
首页 > 其他好文 > 详细

集成学习(二):AdaBoost与LogitBoost

时间:2019-10-16 19:58:16      阅读:100      评论:0      收藏:0      [点我收藏+]

标签:otherwise   ssi   训练   方便   mes   导出   样本   learn   learning   

总结两种具体的提升算法:

 

AdaBoost算法:

 

         AdaBoost的基本想法是不断调整训练数据中样本的权值来训练新的学习器,对于当前误分类的点在下一步中就提高权重“重点关照一下”,最后再将所有的弱分类器做加权和,对于分类正确率高的权重给得大大(更可靠),分类正确率低的给的权重低乃至是负的权重。其具体的算法可以用前向分布可加模型,配以指数损失函数得到,具体推导如下:

         我们这里讨论二分类问题。设学习训练集$D=\lbrace (x_{1},y_{1}),...,(x_{N},y_{N}),y_{i}\in\lbrace -1,+1\rbrace\rbrace$, 我们有某个基准的二分类算法$b$,输出为类别$+1$或者$-1$,我们希望用$M$步学习得到某个学习器:$f=\sum_{m=1}^{M}\alpha_{m}b_{m}$使得误差:

 \begin{equation}L(f)=\sum_{i=1}^{M}e^{-y_{i}f(x_{i})}\end{equation} 

最小。

        我们现在可以考虑其前向分步可加模型了,为方便起见我们令$f_{0}=0$。对任意的$m=1,...,T$,第$m$步学习时,我们已经得到了基模型$b_{1},...,b_{m-1}$以及相应的权重$\alpha_{k}$,且令$f_{m-1}=\sum_{k=1}^{m-1}\alpha_{k}b_{k}$, 那么我们现在只需要求$\alpha_{m}$,$b_{m}$使得$L(f_{m-1}+\alpha_{m}b_{m})$尽量小。

        这时候我们计算:

    \[\exp(-y_{i}f_{m-1}(x_{i})-\alpha_{m}b_{m}(x_{i})y_{i})=\begin{cases} e^{-y_{i}f_{m-1}(x_{i})}\cdot e^{-\alpha_{m}}& \text{if }y_{i}=b_{m}(x_{i}),\\  e^{-y_{i}f_{m-1}(x_{i})}\cdot e^{+\alpha_{m}} & \text{if } y_{i}\neq b_{m}(x_{i}).\end{cases}\]

       上式也可以写成:

   \begin{split}\exp(-y_{i}-\alpha_{m}b_{m}(x_{i})y_{i})=&(e^{+\alpha_{m}}-e^{-\alpha_{m}})\cdot \overline{w}_{m,i}l_{0-1}(b_{m}(x_{i}),y_{i})\newline +& \overline{w}_{m,i}\cdot e^{-\alpha_{m}} \end{split}

   其中:$\overline{w}_{m,i}=e^{-y_{i}f_{m-1}(x_{i})}$, 上式两边同时取$\sum_{i=1}^{N}$我们立即得到:

   $$L(f_{m-1}+\alpha_{m}b_{m})=(e^{\alpha_{m}}-e^{-\alpha_{m}})\sum_{i=1}^{N}\overline{w}_{m,i}l_{01}(b_{m}(x_{i}),y_{i})+e^{-\alpha_{m}}\sum_{i=1}^{N}\overline{w}_{m,i}$$

       注意到要使得上式尽量小,务必使:

                                                      $$\sum_{i=1}^{N}\overline{w}_{m,i}l_{01}(b_{m}(x_{i}),y_{i})$$

  尽量小, 那么b_{m}就应该以第$i$个样本赋予权重$w_{m,i}=\overline{w}_{m,i}/\overline{W}_{m}$来进行训练模型,其中$\overline{W}_{m}=\sum_{i=1}^{N}w_{m,i}.$我们同时注意到:

\begin{split}L(f_{m-1}+\alpha_{m}b_{m})=&e^{-\alpha_{m}}\sum_{i=1}^{N}\overline{w}_{m,i}(1-l_{0,1}(b_{m}(x_{i}),y_{i}))+e^{\alpha_{m}}\sum_{i=1}^{N}\overline{w}_{m,i}(l_{0,1}(b_{m}(x_{i}),y_{i}))\newline =& \overline{W}[e^{-\alpha_{m}}(1-Err_{m})+e^{+\alpha_{m}}Err_{m}]\end{split}

其中$Err_{m}$是$b_{m}$的在权重$w_{m,i}$下的误分类率。上式显然在:

$$\alpha_{m}=\frac{1}{2}\log\frac{1-Err_{m}}{Err_{m}}$$

取得最小值,所以我们应该取$\alpha_{m}=\frac{1}{2}\log\frac{1-Err_{m}}{Err_{m}}$。 

        现在我们总结一下上述推导出来的两个要点:

  • 每一步调整训练数据的权重,使得$w_{m,i}=e^{-y_{i}f_{m-1}(x_{i})}/\overline{W}$,注意到其实$w_{m,i}$与之前的权重$w_{m-1,i}$满足: \begin{equation}w_{m,i}=w_{m-1,i}\cdot e^{-\alpha_{m-1}y_{i}b_{m-1}(x_{i})}/\sum_{i=1}^{N}w_{m-1,i}\cdot e^{-\alpha_{m-1}y_{i}b_{m-1}(x_{i})}\end{equation}从中也看出,对于分类出错的点,下一次学习中也将分配更大的权重。这一点也很容易理解,那就是出问题的将被重点照顾一下,以提高争取率。
  • 每一步基模型的权重为$\alpha_{m}=\frac{1}{2}\log\frac{1-Err_{m}}{Err_{m}}$,可以观察到,模型的错误率越小,其分配的权重就越大,其在“委员会”里的发言权就越大,这也很好理解。

 

综上所述AdaBoost算法的流程如下:


 

            输入:数据集$D=\lbrace(x_{1},y_{1})...(x_{N},y_{N})\rbrace$,其中$x_{i}\in\mathbb{R}^{P}$,$y_{i}\in\lbrace -1,+1\rbrace$; 正整数$M>0$; 基算法$b$。

            输出:某分类器

            Step1:  选择初始权值:$w_{1,i}=1/N$, i=1,...,N;

            Step2:  对m=1,...,M, 执行:

                                                1)以第$i$个样本配以权值$w_{m,i}$,用基算法训练得到模型$b_{m}$;

                                                2)计算出$b_{m}$的在权重$w_{m,i}$之下的误分类率$Err_{m}$

                                                3)计算出系数:\begin{equation}\alpha_{m}=\frac{1}{2}\log\frac{1-Err_{m}}{Err_{m}}\end{equation}

                                                4)如果m<M则计算下一步学习的样本权重:\begin{equation}w_{m+1,i}=\begin{cases} w_{m,i}\cdot e^{\alpha_{m}}& \text{if $b_{m}$ missclassifies the i-th sample},\\  w_{m,i}\cdot e^{-\alpha_{m}} & \text{otherwise} .\end{cases}\end{equation}

                                                    除以适当的常数使得$\sum_{i=1}^{N}w_{m+1,i}=1$

            Step3:  输出模型$f=\text{sign}(\sum_{m=1}^{M}\alpha_{m}b_{m})$

 

 

            


 

AdaBoost 对训练集误分类率的估计

 

          定理:设AdaBoost第m步的误分类率为$Err_{m}$, $\gamma_{m}\triangleq\frac{1}{2}-Err_{m}$, 则最终得到的分类器$f=\text{sign}(\sum_{m=1}^{M}\alpha_{m}b_{m})$的误分类率满足:

                                      \begin{equation}\frac{1}{N}\sum_{i=1}^{N}l_{01}(f(x_{i}),y_{i})\leq \exp(-2\sum_{m=1}^{M}\gamma_{i}^{2})\end{equation}  

    

          推论:如果对每一个弱分类器$\gamma_{m}\geq \gamma>0$,则:

 

                                      \begin{equation}\frac{1}{N}\sum_{i=1}^{N}l_{01}(f(x_{i}),y_{i})\leq \exp(-2M\gamma^{2})\end{equation}       

 

AdaBoost 的优缺点:

      优点:1)分类精度很高

                     2)是一种框架性算法,灵活性高,可以自由选择弱分类器的类型。

                     3)不容易过拟合

          缺点:正是由于每次对于误分类点赋予很大的权重将导致AdaBoost模型对异常点的鲁棒性很差。

 

LogitBoost算法

 

          AdaBoost对于误分类点的惩罚过大造成对异常点敏感,并且不能预测类别的概率。LogitBoost算法可以弥补这两个缺憾,它采样前向分步可加模型,损失函数选取为对数损失函数,每一步迭代的时候是考虑牛顿下降法应用于误差函数来更新模型,具体说来如下:

          对于数据$D=\lbrace(x_{1},y_{1}),...,(x_{N},y_{N})\rbrace$, $x_{i}\in\mathbb{R}^{P}$, $y_{i}\in\lbrace+1,-1\rbrace,$, 某种基准回归算法$b$, 我们用前向分布可加模型依次利用数据集$D$,算法$b$训练得到模型$b_{m}$, $m=1,...,M$, 最终集成为模型$f=\sum_{m=1}^{M}b_{i}$,其中损失函数我们选择:

                                                                \begin{equation}L(f)=\sum_{i=1}^{N}\log(1+e^{-y_{i}f(x_{i})})\end{equation}

         并且我们可以预测概率:\begin{equation}P(Y=1\mid X=x)=\frac{1}{1+e^{-f(x)}}\end{equation}

         所谓的牛顿下降法在XGBoost中有应用, 我们简要看一下。为了接下来讨论方便我们令函数:$l:\mathbb{R}\times\mathbb{R}\longrightarrow \mathbb{R}$, $l(t,y)\triangleq\log(1+e^{-ty})$。容易计算得到:

                                              \begin{equation}\partial_{1}l(t,y)=\frac{-ye^{-ty}}{1+e^{-ty}}\end{equation}

                                              \begin{equation}\partial^{2}_{11}l(t,y)=\frac{e^{-ty}}{(1+e^{-ty})^{2}}\end{equation}                                                   

         在前向分布的第$m$步迭代的时候,我们有:

                                              \begin{split}L(f_{m-1}+b_{m})=&\sum_{i=1}^{N}l(f_{m-1}(x_{i})+b_{m}(x_{i}),y_{i})\newline \approx&\sum_{i=1}^{N}[l(f_{m-1}(x_{i}),y_{i})+g_{m,i}b_{m}(x_{i})+\frac{1}{2}w_{m,i}b^{2}_{m}(x_{i})]\newline =& L(f_{m-1})+\sum_{i=1}^{N}w_{m,i}(b_{m}(x_{i})+g_{m,i}/w_{m,i})^{2}-\frac{1}{2}\sum_{i=1}^{N}g_{m,i}^{2}/w_{m,i}\end{split}

其中:

                    $$g_{m,i}=\partial_{1}l(f_{m-1}(x_{i}),y_{i}),\\  w_{m,i}=\partial^{2}_{11}l(f_{m-1}(x_{i}),y_{i}) $$

所以我们为了让$L(f_{m-1}+b_{m})$尽量小,得让:

                                                    $$\sum_{i=1}^{N}w_{m,i}(b_{m}(x_{i})+g_{m,i}/w_{m,i})^{2}$$

尽量小,这时候应该在一权重为$w_{m,i}$的MSE为损失函数训练出模型$b_{m}$。

         这时我们总结一下LogitBoost算法如下:

 


 

                               输入:训练集$D=\lbrace(x_{1},y_{1}),...,(x_{N},y_{N})\rbrace$, 基准回归算法$b$, 正整数$M>0$

                               输出:分类器以及概率预测函数

                               Step1.令$b_{0}=0$

                               Step2.对$m=1,...,M:$

                                             1)计算 $$w_{m,i}=\frac{e^{-y_{i}f_{m-1}(x_{i})}}{(1+e^{-y_{i}f_{m-1}(x_{i})})^{2}}$$

                                                         $$z_{m,i}=y_{i}(1+e^{-y_{i}f(x_{i})})$$

                                             2)用算法$b$训练数据集D,误差函数选:

                                                           $$L(b)=\sum_{i=1}^{N}w_{m,i}(b(x_{i})-z_{m,i})^{2}$$

                                                得到模型$b_{m}$

                                             3)令:$$f=f_{m-1}+b_{m}$$

                               Step3. 输出分类器$f_{M}$以及概率预测函数$\hat{P}(Y=1\mid X=x)\triangleq \frac{1}{1+e^{-f_{M}(x)}}$


 

参考文献:

1. 李航:《统计学习方法》,北京,清华大学出版社,2012.

2. 周志华:《机器学习》,北京,清华大学出版社,2016.

3. Kevin P. Murphy:Machine Learning: A Probabilistic Perspective, The MIT Press Cambridge, Massachusetts London, England, © 2012 Massachusetts Institute of Technology

集成学习(二):AdaBoost与LogitBoost

标签:otherwise   ssi   训练   方便   mes   导出   样本   learn   learning   

原文地址:https://www.cnblogs.com/szqfreiburger/p/11674064.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!