码迷,mamicode.com
首页 > 其他好文 > 详细

【PRML读书笔记-Chapter1-Introduction】1.1 Example:Polynomial Curve Fitting

时间:2015-05-20 20:08:50      阅读:136      评论:0      收藏:0      [点我收藏+]

标签:

技术分享

书中给出了一个典型的曲线拟合的例子,给定一定量的x以及对应的t值,要你判断新的x对应的t值多少.

任务就是要我们去发现潜在的曲线方程:sin(2πx)

这时就需要概率论的帮忙,对于这种不确定给t赋何值的情况,它可以通过一种精确和量化的方式来提供一种框架,

而对于决策理论,为了根据适当的度量方式来获取最优的预测,它允许我们挖掘一种概率模型.


下面对于上面的例子展开讨论:

假设曲线的多项式方程为:技术分享

系数怎么求?

通过把多项式去拟合训练数据,我们需要设定一个error function,通过最小化这个error functions,可以求的系数.

errorfunctions有很多种定义,书中给出一种:

技术分享

(1/2是为了后面计算方便设定的)

技术分享

当error functions为0时,说明最小,也就是说这个函数用在训练集中的所有数据点上都是准确的.在这里,如果这个error functions是一个二次函数的话,要最小化这个函数,也就是说这个函数具有唯一解.假设为w*(这是一个向量),那么最终的多项式就是y(x,w*).

多项式的幂M设为多少合适?

书中 以M=0,1,3,9来计算:

技术分享

可以观察到,M=3时表现的最好.M=9的时候,过拟合了,显然不是我们想要的.

因此对于M的选择,我们可以采用其他一些量化的方法,采用100个数据点:

新的指标:技术分享——均方根

我们可以发现,这里有除以N这一项,通过除以N,我们可以把100个数据点的数据和10个数据点的数据平等地对待.平方根确保Erms是在相同的规模内,单元内测量得到的.

对于不同的M,Erms被测的:

技术分享

可以发现,对于M=9(w0,w1,…,w8,w9)的时候,对训练集的拟合度很高,但对于测试集的拟合度很差.

随着M的增大,多项式的幂不断增大,尽管多项式变得更灵活,但是它所带来的随机噪声也在随机增大;

其次,数据点的数量不能少于参数的数量.

利用最小二乘法来找出模型的参数是极大似然法的一个特例.过拟合可以理解为是极大似然估计法的一般属性.通过贝叶斯方法,可以避免过拟合问题(

避免过拟合问题

避免过拟合问题有一个常用的方法就是正则化,

对于正则化的理解,知乎上有一段:

-------------------------------------------------------正则化----------------------------------------------------------

正则化的目的:避免出现过拟合(over-fitting)
经验风险最小化 + 正则化项 = 结构风险最小化
经验风险最小化(ERM),是为了让拟合的误差足够小,即:对训练数据的预测误差很小。
但是,我们学习得到的模型,当然是希望对未知数据有很好的预测能力(泛化能力),这样才更有意义。
当拟合的误差足够小的时候,可能是模型参数较多,模型比较复杂,此时模型的泛化能力一般。于是,我们增加一个正则化项,它是一个正的常数乘以模型复杂度的函数,aJ(f),a>=0 用于调整ERM与模型复杂度的关系。
结构风险最小化(SRM),相当于是要求拟合的误差足够小,同时模型不要太复杂(正则化项的极小化),这样得到的模型具有较强的泛化能力。
可以去了解奥卡姆剃刀原理(Occam‘s razor),帮助你理解正则化,实际上是一个道理。

-------------------------------------------------------正则化----------------------------------------------------------

在从书中了解一下正则化的表达式:

技术分享

其中,技术分享

λ 用于控制最小二乘法和惩罚函数之间的关系.

还是刚才那个例子,看一下当M=9+正则化之后的曲线:

技术分享

显然,通过正则化,更加接近sin(2πx).

总结:

       λ是用于有效地控制模型的复杂度,避免过拟合,在上例中,我们通过不断地尝多种不同的M和λ来确定他们的最优值.显然,这不是最好的方法,必须寻求一些更加复杂的方法.

【PRML读书笔记-Chapter1-Introduction】1.1 Example:Polynomial Curve Fitting

标签:

原文地址:http://www.cnblogs.com/XBWer/p/4517756.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!