码迷,mamicode.com
首页 > 其他好文 > 详细

【PRML读书笔记-Chapter1-Introduction】1.3 Model Selection

时间:2015-06-16 16:33:09      阅读:210      评论:0      收藏:0      [点我收藏+]

标签:

在训练集上有个好的效果不见得在测试集中效果就好,因为可能存在过拟合(over-fitting)的问题。

如果训练集的数据质量很好,那我们只需对这些有效数据训练处一堆模型,或者对一个模型给定系列的参数值,然后再根据测试集进行验证,选择效果最好的即可;

大多数情况下,数据集大小是有限的或质量不高,那么需要有个第三测试集,用于测试选中的模型的评估。

为了构建好的模型,我们常常选用其中质量较高的数据拿来训练,这就存在一个问题就是测试集的数据质量变低,导致预测的效果由于noisy而导致性能较差。

这种解决方案就是用交叉验证(cross-validation?)。

技术分享

交叉验证主要的缺陷在于计算量变大了,而且你还要确定一个参数s,即折数。而且它还会带来许多复杂的参数设定,对于一个模型。因为要对许多参数和模型的类型进行比较,因此,我们需要找出一个性能衡量的标准——仅仅取决于训练集,并且也不受过拟合的影响。

赤池信息量准则英语Akaike information criterion,简称AIC)是评估统计模型的复杂度和衡量统计模型“拟合”资料之优良性(英语Goodness of Fit,白话:合身的程度)的一种标准,是由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在信息熵的概念基础上。

技术分享

技术分享表示似然函数,M表示模型中的可调整的参数个数。

类似的指标还有Bayesian information criterion, or BIC?

【PRML读书笔记-Chapter1-Introduction】1.3 Model Selection

标签:

原文地址:http://www.cnblogs.com/XBWer/p/4580929.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!