码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习实验方法与原理

时间:2020-11-08 17:06:28      阅读:20      评论:0      收藏:0      [点我收藏+]

标签:输出   模型   好的   使用   就会   tle   png   style   等于   

k折验证中k值对偏差和方差的影响?

总共n个数据,假设为2,每次训练集大小为n/2,每次训练的数据量会偏小,取平均值后,由于每次训练的数据量比较小,最终学习输出的模型会不能很好的代表样本的分布(欠拟合),换句话说就是偏差大。或者这么理解,由于k折交叉验证是使用k次训练的结果取平均值来进行预测的,如果只有两折交叉验证,每次对训练集的预测结果是使用一半的数据训练一半的数据预测,当数据集少时如果只针对本数据集预测,那么偏差会很小,但是该模型对两个不同的数据集进行了拟合,那么最后对同一个数据集的预测,一个会比较好,一个会比较差,平均以后的偏差就会比较大。相应的,由于拟合的不充分,方差就会比较小。

 

当k值很大时,假设为n折,那么每次训练集的大小为n-1,几乎等于原始数据集的大小了,可以更好地学习到样本的整体分布,这种情况下模型的偏差会偏小,但是方差偏大。可以这么理解,n折交叉验证那么训练数据就会有n份,每份之间的数据差异并不大,所以他们拟合出的平均值结果对训练数据集进行预测,偏差会比较小,但是由于对于给定的数据集充分地进行了学习,导致整体的方差会偏大。

技术图片

 

 

对于同一模型同一置信度下的置信区间,一般测试集样本量越大,错误率的置信区间越小

 

机器学习实验方法与原理

标签:输出   模型   好的   使用   就会   tle   png   style   等于   

原文地址:https://www.cnblogs.com/noncoretime/p/13941903.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!