提升(boosting)方法是一种常用的统计学习方法。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类性能。

Valiant是哈佛大学的计算机科学家，他并不是唯一一位认为大脑与计算机之间基本等价的科学家。但是，他是最早正式研究二者关系的人之一：1984年，他的「可能近似正确模型 （probably approximately correct，PAC）」从数学上定义了一个机械系统在什么样的条件下可以被看做能够「学习」信息。由于Valiant的贡献有助于机器学习理论的进步，因此他赢得了图灵奖——这个奖通常被称为计算机界的诺贝尔奖。

提升方法Adaboost算法

提升方法基本思路

在概率近似正确的框架（PAC）中
强可学习：
对于一个概念，如果存在一个多项式的学习算法能够学习它，且学习的正确率很高
弱可学习：
对于一个概念，如果存在一个多项式的学习算法能够学习它，且学习的正确率仅比随机猜测略好

一个概念是强可学习的充要条件是这个概念是弱可学习的
Adaboost就是将弱转化为强的算法

AdaBoost算法

采取加权多数表决的方法——
加大分类误差率小的弱分类器的权值，反之减少

算法：
输入：$训练数据集T,其中x_i\in \chi \subseteq R^n ,y_i\in Y =\{ -1,+1\}$
输出：最终分类器$G(x)$
1)初始化权值分布
$D_1=(w_{11},...,w_{1i},...,w_{1n}),w_{1i}=\frac1N,i=1,2,...,N$
2)$对m=1,2,...,M$

$(a)使用具有权值分布D_m的训练数据集学习，得到基本分类器$
$G_m(x):\chi\rightarrow\{-1,+1\}$

$(b)计算G_m(x)在训练数据集上的分类误差率$
$e_m=P(G_m(x_i)\neq y_1)=\sum_{i=1}^Nw_{mi} I (G_m(x_i)\neq y_i)$

$(c)计算G_m(x)的系数$
$\alpha_m=\frac12log\frac{1-e_m}{e_m}$

(d)更新权值分布
$D_{m+1}=(w_{m+1,1},...,w_{m+1,i},w_{m+1.N})$
$w_{m+1,i}=\dfrac{w_{mi}}{Z_m}\exp(-\alpha_m y_i G_m(x_i))$
这里，$Z_m是规范因子—使D_{m+1}成为一个概率分布$
$Z_m=\sum_{i=1}^N w_{mi}\exp(-\alpha_m y_i G_m(x_i))$

3)构造基本分类器的线性组合
$f(x)=\sum_{m=1}^M\alpha_, G_m(x)$
得到最终分类器
$G(x)=sign(f(x))=sign(\sum_{m=1}^M\alpha_m G_m(x))$

Adaboost的例子

1）
下面，给定下列训练样本，请用AdaBoost算法学习一个强分类器。

求解过程：初始化训练数据的权值分布，令每个权值W1i = 1/N = 0.1，其中，N = 10，i = 1,2, …, 10，然后分别对于m = 1,2,3, …等值进行迭代。

迭代过程1：对于m=1，在权值分布为D1的训练数据上，阈值v取2.5时误差率最低，故基本分类器为：

从而可得G1(x)在训练数据集上的误差率e1=P(G1(xi)≠yi) = 0.3
然后计算G1的系数：

接着更新训练数据的权值分布：

最后得到各个数据的权值分布D2=(0.0715, 0.0715, 0.0715, 0.0715, 0.0715, 0.0715, 0.1666, 0.1666, 0.1666, 0.0715)，分类函数f1(x)=0.4236G1(x)，故最终得到的分类器sign(f1(x))在训练数据集上有3个误分类点。

迭代过程2：对于m=2，在权值分布为D2的训练数据上，阈值v取8.5时误差率最低，故基本分类器为：

G2(x)在训练数据集上的误差率e2=P(G2(xi)≠yi) = 0.2143

计算G2的系数：

更新训练数据的权值分布：

D3=(0.0455, 0.0455, 0.0455, 0.1667, 0.1667, 0.01667, 0.1060, 0.1060, 0.1060, 0.0455)
f2(x)=0.4236G1(x) + 0.6496G2(x)

分类器sign(f2(x))在训练数据集上有3个误分类点。

迭代过程3：对于m=3，在权值分布为D3的训练数据上，阈值v取5.5时误差率最低，故基本分类器为：

G3(x)在训练数据集上的误差率e3=P(G3(xi)≠yi) = 0.1820
计算G3的系数：

更新训练数据的权值分布：

D4=(0.125, 0.125, 0.125, 0.102, 0.102, 0.102, 0.065, 0.065, 0.065, 0.125)，f3(x)=0.4236G1(x) + 0.6496G2(x)+0.7514G3(x)，分类器sign(f3(x))在训练数据集上有0个误分类点。

上述Adaboost算法对分类器阈值的选择是暴力搜索法

2）垂直和水平直线作为分类器

Adaboost算法的训练误差分析

Adaboost最基本的性质是它能在学习过程中不断减少训练误差，即在训练数据集上的分类误差率

定理1：
Adaboost算法最终分类器的训练误差界为：
$\frac1N\sum_{i=1}^NI(G(x_i)\neq y_i)\leqslant \frac1N\sum_i \exp(-y_i f(x_i))=\prod_mZ_m$

这个定理很有问题，我觉得应该这样！！
$\frac1N\sum_{i=1}^NP(G(x_i)\neq y_i)\leqslant\frac1N\sum_{i=1}^NP(f(x_i)\neq y_i)\leqslant \frac1N\sum_i \exp(-y_i f(x_i))=\prod_mZ_m$
首先$\frac1N\sum_{i=1}^NI(G(x_i)\neq y_i) 并不能代表训练误差界$
其次 $G(x_i)\neq y_i时候，f(x_i)\neq y_i 并不知道$

定理2：
二分类问题AdaBoost的训练误差界
$\prod_m^MZ_m=\prod_m^M[2\sqrt{e_m(1-e_m)}]=\prod_m^M\sqrt{(1-4\gamma^2)}\leqslant \exp(-2\sum_{m=1}^M\gamma_m^2)$
这里,$\gamma_m=\frac12-e_m$

推论：
如果存在 $\gamma>0,对所有m有 \gamma_m\geqslant \gamma，则$
$\frac1N\sum_{i=1}^NI(G(x_i)\neq y_i)\leqslant \exp(-2M\gamma^2)$
表明在此条件下AdaBoost的训练误差是以指数速率下降的！

AdaBoost算法不需要知道下界$\gamma$.它具有适应性，即能适应弱分类器各自的训练误差率，这也是它的名称（适应的提升）的由来，Ada是Adaptive的简写

Adaboost算法的解释

可以认为AdaBoost算法是模型为加法模型、损失函数为指数函数、学习方法为前向分步算法时的二分类学习方法

前向分步算法

考虑加法模型
$f(x)=\sum_{m=1}^M \beta _mb(x;\gamma_m)$
$b(x;\gamma_m)为基函数，\gamma_m为基函数的参数，\beta_m为基函数的系数$

损失函数$L(y,f(x))$下—损失函数具体自行定义
加法模型显然成为经验风险极小化即损失函数极小化问题：
$\min _{\beta_m,\gamma_m}\sum_{i=1}^N L(y_i,\sum_{m=1}^M\beta_m b(x_i ;\gamma_m))$

通常这是个复杂的优化问题.前向分步算法的思想是：因为学习的是加法模型，如果能够从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数式，那么就能大大简化优化的复杂度.具体地：
$\min _{\beta,\gamma}\sum_{i=1}^N L(y_i,\beta_m b(x_i ;\gamma))$

算法
$输入：训练数据集T=\{ ...,(x_i ,y_i),...\};损失函数L(y,f(x));基函数集\{b(x;\gamma)\}$
$输出：加法模型f(x)$
1)初始化$f_0(x)=0$

2)对$m=1,2,...,M$

$a)极小化损失函数$
$(\beta_m,\gamma_m)=\arg \min_{\beta ,\gamma} \sum_{i=1}^NL(y_i,f_{m-1}(x_i)+\beta b(x_i ;\gamma))$
$得到参数\beta_m ,\gamma_m$

$b)更新$
$f_m(x)=f_{m-1}+\beta_m b(x;\gamma_m)$

3)得到加法模型
$f(x)=f_M(x)=\sum_{m=1}^M\beta_m b(x;\gamma_m)$

前向分步算法与AdaBoost

可以由前向分布算法推导出AdaBoost

定理：AdaBoost算法是前向分步加法算法的特例！这时，模型由基本分类器组成的加法模型，损失函数是指数函数
思路：前向分步算法学习的是加法模型，当基函数为基本分类器时，该加法模型等价于AdaBoost的最终分类器
$f(x)=\sum_{m=1}^M \alpha_m G_m(x)$
证明：
令$b(x;\gamma_m)为G_m(x),\beta_m为\alpha_m$

令$L(y,f(x))=exp[-yf(x)]$

$f_{m}(x)=\alpha_1G_1(x)+...+\alpha_{m-1}G_{m-1}(x)=f_{m-1}(x)+\alpha_m G_{m}(x)$

则$(\alpha_m,G_m(x))=\arg \min_{\alpha ,G}\sum_{i=1}^N \exp [-y_i(f_{m-1}(x_i)+\alpha G(x_i))]$

又可表示为
$(\alpha_m,G_m(x))=\arg \min_{\alpha ,G}\sum_{i=1}^N \bar w_{mi}\exp [-y_i\alpha G(x_i)]$
$\bar w_{mi}=\exp [-y_i f_{m-1}(x_i)]$

由$w_{m+1,i}=\dfrac{w_{mi}}{Z_m}\exp(-\alpha_m y_i G_m(x_i))$，知

$\bar w_{mi}不依赖这一步的\alpha 和 G ，所以与最小化无关！$

1）对$G_m^* (x)$

$G_m^* (x) =\arg \min_{\alpha ,G}\sum_{i=1}^N \exp [-y_if(x_i)]$

设$\bar w_{mi}=\exp[-y_if_{m-1}(x_i)]$

因$\sum_{i=1}^N \exp [-y_if(x_i)] =\sum_{i=1}^N \bar w_{mi} \exp [-y_i\alpha G(x_i)] \geqslant \sum_{i=1}^N \bar w_{mi}P(G(x_i)\neq y_i) \geqslant \sum_{i=1}^N\bar w_{mi} I(G(x_i)\neq y_i)$

则$G_m^* (x) =\arg \min_{\alpha ,G}\sum_{i=1}^N\bar w_{mi} I(G(x_i)\neq y_i)$—我不认为非常正确

2）对$\alpha_m^* (x)$
$\sum_{i=1}^N \bar w_{mi} \exp [-y_i\alpha G(x_i)]$
$=\sum_{y_i =G_m(x_i)}\bar w_{mi} e^{-\alpha}+\sum_{y_i \neq G_m(x_i)}\bar w_{mi} e^{\alpha}$
$=(e^{\alpha}-e^{-\alpha})\sum_{i=1}^N \bar w_{mi}P(G(x_i)\neq y_i) +e^{-\alpha}\sum_{i=1}^N \bar w_{mi}$
$\geqslant (e^{\alpha}-e^{-\alpha})\sum_{i=1}^N \bar w_{mi}I(G(x_i)\neq y_i) +e^{-\alpha}\sum_{i=1}^N \bar w_{mi}$

设$e_m=\dfrac{\sum_{i=1}^N \bar w_{mi}I(G(x_i)\neq y_i)}{\sum_{i=1}^N \bar w_{mi}}=\sum_{i=1}^N w_{mi}I(G(x_i)\neq y_i)$

原式求导=0，得到：
$\alpha_m =\frac12log\dfrac{1-e^m}{e^m}$

2）最后对权值的更新
由$f_m(x)=f_{m-1}(x)+\alpha_m G_m(x)$
以及$\bar w_{mi}=\exp[-y_if_{m-1}(x_i)]$

得:
$\bar w_{m+1,i}=\bar w_{m,i} exp[-y_i \alpha_m G_m(x)]$

这与AdaBoost 算法权值的更新只相差规范因子，因而等价

我并不认为等价，由上述极小化求参数的放缩可以看出

提升树

提升树是以分类树或回归树为基本分类器的提升方法.提升书被认为是统计学习性能最好的方法之一

提升树算法

提升树模型：
$f_M(x)=\sum_{m=1}^MT(x;\theta_m)$
其中，$T(x;\theta_m)表示决策树;\theta_m为决策树的参数;M为树的个数$

回归树:
$已知训练数据集T,,x_i\in \chi \subseteq R^n$
弱国讲输入控件$\chi划分为J个不相交的区域R_1,R_2,...,R_j,并且在每个区域上确定书的常量c_j,那么树可表示为$
$T(x;\theta)=\sum_{j=1}^J c_j I(x\in R_j)$
其中，$参数\theta=\{(R_1,c_1),...,(R_J,c_J) \}表示树的区域划分和各区域上的常数，J是回归树的复杂度即叶结点个数$

算法：
输入：$训练数据集T=\{ ...,(x_i ,y_i),...\}，损失函数为平方损失$
输出：$提升树f_M(x)$
1)初始化f_0(x)=0

2)对m=1,2,…,M

$a)计算残差r_{mi}$
$r_{mi}=y_i -f_{m-1}(x_i),i=1,2,...,N$

$b)拟合残差r_{mi}学习一个回归树，得到T(x;\theta_m)$

$c)更新f_m(x)=f_{m-1}(x)+T(x;\theta_m)$

3)得到回归问题提升树
$f_M(x)=\sum_{m=1}^MT(x;\theta_m)$

例子：

容易看出，其实就是对残差进行迭代加法拟合
之前的阈值与此例的切分点，都采取的是暴力搜索法，我不太喜欢

梯度提升

提升树利用加法模型与前向分步算法实现学习的优化过程。损失函数是平方损失和指数损失时，每一步优化很简单。但对于一般损失函数而言，并非如此容易。对此，Freidman提出了梯度提升算法.这是利用最速下降法的近似方法，其关键是利用损失函数的负梯度在当前模型的值
$-[\dfrac{\partial L(y,f(x_i))}{\partial f(x_i)}]_{f(x)=f_{m-1}(x)}$
作为回归问题提升树算法中残差的近似值，拟合一个回归树

算法：
输入：T和L
输出：回归树$\hat f(x)$

1）初始化
$f_0(x)=\arg \min_c\sum _{i=1}^NL(y_i,c)$
c与上例一样，以训练误差最小进行暴力搜索法

2)对$m=1,2,...,M$

$a)对i=1,2,...,N,计算$
$r_{mi}=-[\dfrac{\partial L(y,f(x_i))}{\partial f(x_i)}]_{f(x)=f_{m-1}(x)}$

$b)对r_{mi}拟合一个回归树，得到第m课树的叶结点区域R_{mj},j=1,2,...,J$

$c)对j=1,2,...,J 计算$
$c_{mj}=\arg \min_c\sum _{x_i\in R_{mj}}L(y_i,f_{m-1}(x_i)+c)$
一样的方法

$d)更新f_m(x)=f_{m-1}(x)+\sum_{j=1}^Jc_{mj}I(x\in R_{mj})$

3）得到回归树
$\hat f(x)=f_M(x)=\sum_{m=1}^M \sum_{j=1}^J c_{mj}I(x\in R_{mj})$

损失函数的负梯度作为残差的估计，对于平方损失函数，它就是通常所说的残差，对于一般损失函数，它就是残差的近似值。
很奇怪
当$L(y,f(x))=(y-f(x))^2$
$r_{mi}=-[\dfrac{\partial L(y,f(x_i))}{\partial f(x_i)}]_{f(x)=f_{m-1}(x)}$
则$r_{mi}=2(y-f(x))$,并不是之前的残差！