码迷,mamicode.com
首页 > 其他好文 > 详细

分类模型评估与选择总结

时间:2014-11-01 19:02:37      阅读:5185      评论:0      收藏:0      [点我收藏+]

标签:style   io   os   使用   for   sp   数据   on   问题   

1.评估分类器性能的度量

  当建立好一个分类模型之后,就会考虑这个模型的性能或准确率如何,这里介绍几种分类器评估度量如下表:

  假设在有标号的元组组成的训练集上使用分类器。P是正元组数,N是负元组数。

度量 公式
准确率、识别率 (TP+TN)/(P+N)
错误率、误分类率 (FP+FN)/(P+N)
敏感度、真正例率、召回率 TP/P
特效型、真负例率 TN/N
精度 TP/(TP+FP)

F、F1、F分数

精度和召回率的调和均值

2*precision*recall/(precision+recall)
Fb、其中b是非负实数 (1+b^2)*precision*recall/(b^2*precision+recall)

    注意:某些度量有多个名称。TP,TN,FP,FN,P,N分别表示真正例,真负例,假正例,假负例,正和负样本数。

    还有四个需要知道的术语。这些术语是用于计算许多评估度量的“构件”,理解它们有助于领会各种度量的含义。

      真正例/真阳性(True Positive,TP):是指被分类器正确分类的正元组。令TP为真正例的个数。

      真负例/真阴性(True Negative,TN):是指被分类器正确分类的负元组。令TN为真负例的个数。

      假正例/假阳性(False Positive, FP):是被错误地标记为正元组的负元组。令FP为假正例的个数。

      假负例/假阴性(False Negative,FN):是被错误地标记为负元组的正元组。令FN为假负例的个数。

    这些词汇总在  混淆矩阵 中:                           

实际的类\预测的类 yes no 合计
yes TP FN P
no FP TN N
合计 P‘ N‘ P+N

      除了基于准确率的度量外,还可以根据其他方面比较分类器:

        速度:这涉及产生和使用分类器的计算开销。

        鲁棒性:这是假的数据有噪声或有缺失值时分类器做出正确预测的能力。通常,鲁棒性用噪声和缺失值渐增的一系列合成数据集评估。

        可伸缩性:这涉及给定大量数据,有效的构造分类器的能力。通常,可伸缩性用规模渐增的一系列数据集评估。

        可解释性:这涉及分类器或预测其提供的理解和洞察水平。可解释性是主观的,因而很难评估。决策树和分类规则可能容易解释,但随着它们变得更复杂,它们的可解释性也随着消失。

      概扩的说:当数据类比较均衡地分布时,准确率效果最好。其他度量,如灵敏度、特效型、精度、F和Fb更适合类不平衡问题,那里主要感兴趣的类是稀少的。

2.如何获得可靠的分类器准确率估计

  a.保持方法和随机二次抽样

    保持:给定数据随机地划分成两个独立的集合:训练集和检验集。使用训练集导出模型,其准确率用检验集估计。估计是悲观的,因为只有一部分初始数据用于导出模型。

    随机二次抽样:将保持方法重复k次,总准确率估计取每次迭代准确率的平均值。

  b.交叉验证

    在k-折交叉验证(k-fold cross-validation)中,初始数据随机地划分成k个互不相交的子集或“折”D1,D2,...,Dk,每个折的大小大致相等。训练和检验进行k次。在第i次迭代,分区Di用做检验集,其余的分区一起用做训练模型。对于分类,准确率估计是k次迭代正确分类的元组总数除以初始数据中的元组总数。  一般建议使用10-折交叉验证估计准确率,因为它具有相对较低的偏倚和方差。

  c.自助法

    自助法从给定训练元组中有放回的均匀抽样。

    常用的一种是.632自助法,其方法如下:假设给定的数据集包含d个元组。该数据集有放回地抽样d次,产生d个样本的自助样本集或训练集。原数据元组中的某些元组很可能在该样本集中出现多次。没有进入该训练集的数据元组最终形成检验集。假设进行这样的抽样多次。其结果是,在平均情况下,63.2%原数据元组将出现在自助样本中,而其余38.8%的元组将形成检验集。

    可以重复抽样过程k次,其中在每次迭代中,使用当前的检验集得到从当前自助样本得到的模型的准确率估计。模型的总体准确率则用下式估计Acc(M)=Σ{0.632*Acc(Mi)_test_set+0.368*Acc(Mi)_train_set} ;其中,Acc(Mi)_test_set是自助样本i得到的模型用于检验集j的准确率。Acc(Mi)_train_set是自助样本i得到的模型用于原数据元组集的准确率。对于小数据集,自助法效果很好。

  d.其他方法

    还有使用统计显著性检验选择模型,基于成本效益和ROC曲线比较分类器 等等方法。

3.提高分类准确率的技术

  a.组合分类方法简介

    组合分类把k个学习得到的模型(或基分类器)M1,M2,...,Mk组合在一起,旨在创建一个改进的复合分类模型M*。使用给定的数据集D创建k个训练集D1,D2,...,Dk,其中Di用于创建分类器Mi。给定一个待分类的新数据元组,每个基分类器通过返回类预测投票。组合分类器基于集分类器的投票返回类预测。常见的有装袋,adaBoost提升,随机森林。

  b.装袋

    算法:装袋。装袋算法——为学习方案创建组合分类模型,其中每个模型给出等权重预测。

    输入:

      D:d个训练元组的集合;

      k:组合分类器中的模型数;

      一种学习方案(例如,决策树算法,向后传播等)

    输出:组合分类器——复合模型M*

    方法:

      for i=1 to k do  //创建k个模型

           通过对D有放回抽样,创建自助样本Di ;

        使用Di和学习方法导出模型Mi ;

      end for 

    使用组合分类器对元组X分类:

      让k个模型都对k分类并返回多数表决;

  c.提升和AdaBoost

    算法:AdaBoost.一种提升算法——创建分类器的组合。每个给出一个加权投票。

    输入:

      D:类标记的训练元组集。

      k:轮数(每轮产生一个分类器)

      一种分类学习方案。

    输出:一个复合模型

    方法:

      将D中每个元组的权重初始化为1/d;

      for i=1 to k do 

              (3)  根据元组的权重从D中有放回抽样,得到Di;

        使用训练集Di导出模型Mi;

        计算Mi的错误率error(Mi)   : error(Mi)=Σ wi * err(Xj) ;  j=1,2,...,d

        if  error(Mi)>0.5 then 

          转步骤(3)重试;

        end if

        for Di的每个被正确分类的元组  do

          元组的权重乘以error(Mi)/(1-error(Mi))  ;  //更新权重

          规范化每个元组的权重

        end for

 

使用组合分类器对元组X分类:

  将每个类的权重初始化为0;

  for  i=1  to  k  do            //对每个分类器

    wi=log{(1-error(Mi))/error(Mi)}   //分类器的投票权重

    c=Mi(x);              //从Mi得到X的类预测

    将wi加到类c的权重;

  end for

  返回具有最大权重的类;

 

      为了计算模型Mi的错误率,求Mi误分类Di中的每个元组的加权和。即, error(Mi)=Σ wi * err(Xj) 

    其中,err(Xj)是元组Xj的误分类误差:如果Xj被误分类,则err(Xj)为1;否则,它为0。如果分类器Mi的性能太差,错误率超过0.5,则丢弃它,并重新产生新的训练集Di,由它导出新的Mi。

    Mi的错误率影响训练元组权重的更新。如果一个元组在第i轮正确分类,则其权重乘以error(Mi)/(1-error(Mi))。一旦所有正确分类元组的权重都被更新,就对所有元组的权重(包括误分类的元组)规范化,使得它们的和以前一样。为了规范化权重,将它乘以旧权重之和,除以新权重之和。结果,正如上面介绍的一样,误分类元组的权重增加,而正确分类元组的权重减少。

  

  一旦提升完成,提升根据分裂器 的分类情况,对每个分类的表决权赋予一个权重。分类器的错误率越低,它的准确率就越高,因此他的表决权重就应当越高。分类器Mi的表决权重为 log{(1-error(Mi))/error(Mi)},对于每个类c,对每个将类c指派给X的分类器的权重求和。具有最大权重和的类是“赢家”,并返回作为元组X的类预测。

 

分类模型评估与选择总结

标签:style   io   os   使用   for   sp   数据   on   问题   

原文地址:http://www.cnblogs.com/evilKing/p/4067323.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!