GBrank_问题列表

标签：

8 gbrank的h(x)函数为什么要加一个变量不加可不可以? 加了有什么作用? 设多大才合适? 太大对排序有什么影响么?

           

先看下公式中, 需要注意到的正则化.

一般情况不宜过大, 往往设为(0, 1]之间的值. 

如何设置好?

    - 当设的较小时, 会导致不起作用.

    - 当设的较大的时候, 会出现什么情况:

- 我们的目标是 当xi >= yi成立的时候, h(xi) >= h(yi) + 成立, 反之亦然.

- 根据hinge loss的特点, 模型更新的条件是上述情况不成立.

- 一旦 设的很大, 对于大多数的样本来说, xi >= yi成立的时候, h(xi) >= h(yi) + 是不成立得, 反之亦然.

- 由于设的过大, 导致大多数的样本都参与了每次迭代模型更新, 换句话说, 模型没有学好.

- 在测试的时候, 由于模型没有学好, 从而导致大多数的测试样本对都不会满足"xi >= yi成立的时候, h(xi) >= h(yi) + 也成立", 从而导致测试效果不好.

所以需要对进行约制, 一般的方法就是正则化, 可以用L1/L2来正则化.

(个人觉得的作用类似svm里面的惩罚因子C).

这里主要说下CART的后剪枝:

CART剪枝算法从"完全生长"的决策树的底端剪去一些子树, 使决策树变小/模型变得简单, 从而能够对验证集/测试集/未知数据有更好的预测/拟合.

CART剪枝由两步组成:

- 利用训练数据对已生成的决策树T0的底端叶子节点开始, 自底向上地不断剪枝(每次剪枝都会形成一个子树Ti), 直到T0的的根节点, 从而形成一个子树集{T0, T1, T2, ,,,, Tn }

- 利用验证集对生成的子树集{T0, T1, T2, ,,,, Tn }中的每颗子树进行测试, 选择验证效果最好的子树, 作为最终的决策树.

问题定义:

- 树的剪枝往往通过极小化树的整体损失函数或者代价函数(生成树)来实现的, 整体损失函数或者代价函数需要考虑模型的复杂度..

- 定义剪枝的损失函数/代价函数:

    在剪枝过程中, 计算子树的损失函数为: 

     其中T为任意子树, C(T)为对训练数据的预测误差(如最小平方误差), |T|为子树T的叶结点个数. 为常数(>=0).

    为参数为时的子树T的整体误差. 参数权衡着训练数据的拟合程度和模型的复杂度.

- 显然, 对于给定的, 一定存在使损失函数最小的子树, 则该子树在损失函数最小意义下是最优的(想想为什么? -> 最小能确保模型拟合的好的同时, 减少模型的复杂度). 容易验证这样的子树是唯一的.

- 现在考虑极端情况:  = 0, 整棵树是最优的,  = 正无穷大, 更节点组成的单节点树是最优的.

- Breiman等人的证明:

      

变量定义:

- 树为T0, 树的节点数为M=|T0|, 树的叶子节点数为N

- 对于每一个节点, 由T0剪掉以该节点作为根节点的子树(保留该节点), 从而得到树Ti, i=1, ..., M. (包括原树T0, 共有M+1棵子树)

具体过程:

- 遍历所有可能的 = 0: 正无穷

-    对于每一个子树Ti = 0: M+1

-        根据损失函数, 用训练集求出子树Ti的损失

-    根据子树的损失, 找到损失最小的子树作为当前的最优子树

-

- 对于每一个, 用验证集来计算其最优子树的效果.

- 选择效果最好的子树作为树T0剪枝后的树.

上述的过程是暴力的方法, 其计算复杂度是不可控的.

所以需要优化.其实我们并不需要知道的具体取值是多少. 而是知道什么情况下剪掉子树即可, 即剪枝后整体损失函数减少的程度. 根据Breiman等人的证明:

具体地, 从整体树T0开始剪枝, 对于任何的节点t, 都可以:

---

10 boosting的本意是什么? 跟bagging, random forest, adaboost, gradient boosting有什么区别?

bagging: 

可以看成是一种圆桌会议, 或是投票选举的形式. 通过训练多个模型, 将这些训练好的模型进行加权组合来获得最终的输出结果(分类/回归), 一般这类方法的效果, 都会好于单个模型的效果. 在实践中, 在特征一定的情况下, 大家总是使用Bagging的思想去提升效果. 例如kaggle上的问题解决, 因为大家获得的数据都是一样的, 特别是有些数据已经过预处理.

基本的思路比较简单, 就是：训练时, 使用replacement的sampling方法, sampling一部分训练数据k次并训练k个模型；预测时, 使用k个模型, 如果为分类, 则让k个模型均进行分类并选择出现次数最多的类(每个类出现的次数占比可以视为置信度)；如为回归, 则为各类器返回的结果的平均值. 在该处, Bagging算法可以认为每个分类器的权重都一样

random forest:

随机森林在bagging的基础上做了修改.

- 从样本集散用Boostrap采样选出n个样本, 预建立CART

- 在树的每个节点上, 从所有属性中随机选择k个属性/特征, 选择出一个最佳属性/特征作为节点

- 重复上述两步m次, i.e.build m棵cart

- 这m棵cart形成random forest.

随机森林可以既处理属性是离散的量, 比如ID3算法, 也可以处理属性为连续值得量, 比如C4.5算法.

这里的random就是指:

    - boostrap中的随机选择样本

    - random subspace的算法中从属性/特征即中随机选择k个属性/特征, 每棵树节点分裂时, 从这随机的k个属性/特征, 选择最优的.

boosting:

由来:

    - Kearns & Valiant (1984)

        PAC学习模型 - 提出问题：

            - 强学习算法：存在一个多项式时间的学习算法以识别一组概念，且识别的正确率很高。

            - 弱学习算法：识别一组概念的正确率仅比随机猜测略好。

            - 弱学习器与强学习器的等价问题。如果两者等价，只需找到一个比随机猜测略好的学习算法，就可以将其提升为强学习算法。

    - Kearns & Valiant (1989)

        证明了弱学习器和强学习器的等价问题。

    - Schapire (1989)

        第一个提出了一个可证明的多项式时间的Boosting算法。

    - Schapire, etc. (1993)

        第一次把Boosting算法思想用于实际应用：OCR。

    - Freund & Schapire (1995)

        AdaBoost算法

- boosting是”提升”的意思. 一般Boosting算法都是一个迭代的过程, 每一次新的训练都是为了改进上一次的结果. 

- boosting在选择hyperspace的时候给样本加了一个权值，使得loss function尽量考虑那些分错类的样本(如分错类的样本weight大). 怎么做的呢？

- boosting重采样的不是样本，而是样本的分布，对于分类正确的样本权值低，分类错误的样本权值高(通常是边界附近的样本)，最后的分类器是很多弱分类器的线性叠加(加权组合).

或者这么理解也是可以的:

如果弱学习器与强学习器是等价的, 当强学习器难以学习时(如强学习器高度非线性等), 问题就可以转化为这样的学习问题: 

    学习多个弱分类器(弱分类器容易学习), 并将多个弱分类器组合成一个强分类器(与原来的强学习器等价).

adaboosting:

这其实思想相当的简单, 大概是对一份数据, 建立M个模型(比如分类), 而一般这种模型比较简单, 称为弱分类器(weak learner). 每次分类都将上一次分错的数据权重提高一点, 对分对的数据权重降低一点, 再进行分类. 这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的效果. 

每次迭代的样本是一样的, 即没有采样过程, 不同的是没有样本的权重不一样. (当然也可以对样本/特征进行采样, 这个不是adaboosting的原意).

另外, 每个分类器的步长由在训练该分类器时的误差来生成.

gradient boosting: 

每一次的计算是为了减少上一次的残差(residual), 而为了消除残差, 我们可以在残差减少的梯度 (Gradient)方向上建立一个新的模型. 所以说在Gradient Boost中, 每个新模型是为了使之前模型的残差往梯度方向减少, 与传统Boost对正确, 错误的样本进行加权有着很大的区别. (或者这样理解: 每一次建立模型是在之前建立模型损失函数的梯度下降方向. 这句话有一点拗口,  损失函数(loss function)描述的是模型的不靠谱程度,  损失函数越大,  则说明模型越容易出错（其实这里有一个方差、偏差均衡的问题,  但是这里就假设损失函数越大, 模型越容易出错). 如果我们的模型能够让损失函数持续的下降,  则说明我们的模型在不停的改进,  而最好的方式就是让损失函数在其Gradient的方向上下降).

---

11 cross-entropy loss对于hinge loss有什么好处?

- cross-entropy的解释性强

- 通过作图可以看出, cross-entropy是平滑的, 而hinge loss不是平滑的

- hinge loss 对于正例的loss是0, 反例不是0, 这样导致其在每次迭代中, 只用到反例来更新模型(也就是只用了反例来建树, 丢失了正例的信息)

- 从它们的loss上看, hinge loss对反例的惩罚是呈指数增长的, 而hinge loss是线性增长的.

12 决策树有什么有优缺点?

优点:

- 可解释强

- 学习能力强, 高效地处理非线性问题

- 应用范围广, 处理分类, 回归, 排序问题

- 数据准备代价低

缺点:

- 容易过拟合

- 训练代价相对高

- 特征分析相对难

---

13 ensemble的思想

- 单个弱学习器决策能力有限

- 继承多个弱学习器可以获得更强的决策能力

- 泛化能力好 (多样性, 准确性)

---

14 gbdt哪些部分可以并行?

- 计算每个样本的扶负梯度

- 分裂挑选最佳特征及其分割点时, 对特征计算相应的误差及均值时

- 更新每个样本的负梯度时

- 最后预测过程中, 每个样本将之前的所有树的结果累加的时候

---

15 单棵树停止生长的条件?

- 节点分裂时的最小样本数

- 最大深度

- 最多叶子节点数

- loss满足约束条件

---

16  另外树的个数越多越好么? 还是越小越好? 怎么确定树的个数?

- 树的棵树过少的话, 容易导致欠拟合, 即模型的精度不高

- 树的棵树过多的话, 容易导致模型过拟合, 而模型的复杂度大, 导致计算量大

- 所以树的个数要适中

如何确定树的棵数?

- 先选取一个比较大的数, 然后用二分法逐步减少树的数目, 分别计算相应的点画图, 看哪个过拟合了, 哪个变得平滑, 就确定这个数.

- 但是这个是在验证集上检验.

---

17 怎么对数据特征分析来帮助模型训练?

- 特征的分布: 按特征的取值分段, 每一段包含的样本数量, 特征均值, 方差等.

- 目标分布 (同上)

- 特征目标关系: 特征分段, 每段中包含的样本的目标取值.

- 目标特征关系: 目标分段, 每段中包含的样本的特征取值.

---

18 模型在类似Cross-Validation上测试效果不错, 但在开发测试上效果不佳?

- 选取的训练数据的覆盖度不够, 即数据集不具有代表性(不过完备), 不能体现真实数据的分布.

- 模型迁移 (model drift), 随着时间的转移, 特征数据也会跟着变化. 比如3个月前的模型对现在的特征可能不会有好的结果.

---

Reference

0 http://www.cnblogs.com/LeftNotEasy/archive/2011/01/02/machine-learning-boosting-and-gradient-boosting.html

1 https://www.zybuluo.com/frank-shaw/note/127048

2 http://blog.csdn.net/abcjennifer/article/details/8164315

3 http://blog.chinaunix.net/uid-8695538-id-3130680.html

4 http://bangpai.taobao.com/group/thread/1004864-254234861.htm

GBrank_问题列表

标签：

原文地址：http://www.cnblogs.com/xuanyoumeng/p/4762918.html