码迷,mamicode.com
首页 > 其他好文 > 详细

最小二乘法的概率解释-最大似然方法

时间:2015-11-18 16:00:10      阅读:138      评论:0      收藏:0      [点我收藏+]

标签:

对于常规线性模型来说,其精确的模型可定义如下:

技术分享

其中,模型中的第一部分描述了通过待预测值随自变量的变化趋势,而第二部分描述了线性模型不能建模的误差项。

最小二乘方法采用损失代价和最小来获得线性模型的参数。在此,我们通过假设误差项的概率分布,并用最大似然估计的方法寻求模型参数Θ。

在此,我们假设误差项ε是独立同分布的,并且符合均值为0的高斯分布,即:

技术分享

则,待预测值技术分享也服从均值为技术分享的高斯分布:

技术分享

上式可理解为当给定X,Θ时,待预测值y的概率分布,我们同时也可以给出Θ的似然函数:

技术分享

由于不同观测点的误差项服从独立同分布,因此整体似然函数可写为:

技术分享

根据最大似然估计的思想,求似然值的log最大化,可得:

技术分享

即为:

技术分享

?

?

注:在此主要用到了最大似然估计的知识,并且给定了前提,即误差项服从独立高斯同分布。

关于最大似然估计,这里有一个讲的非常好的文章。http://blog.csdn.net/yanqingan/article/details/6125812

最小二乘法的概率解释-最大似然方法

标签:

原文地址:http://www.cnblogs.com/shibalang/p/4974583.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!