码迷,mamicode.com
首页 > 其他好文 > 详细

最小二乘法

时间:2019-11-24 21:05:28      阅读:64      评论:0      收藏:0      [点我收藏+]

标签:inline   ali   middle   for   ati   技术   通过   tar   list   

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

 

考虑超定方程组(超定指未知数小于方程个数):
技术图片
其中m代表有m个等式,n代表有 n 个未知数
技术图片
,m>n ;将其进行向量化后为:
技术图片

  
技术图片
技术图片
技术图片
显然该方程组一般而言没有解,所以为了选取最合适的
技术图片
让该等式"尽量成立",引入残差平方和函数S
技术图片
(在统计学中,残差平方和函数可以看成n倍的均方误差MSE)
技术图片
时,
技术图片
取最小值,记作:
技术图片
通过对
技术图片
进行微分求最值,可以得到:
技术图片
如果矩阵
技术图片
非奇异则
技术图片
有唯一解:
技术图片
 
 
 

最小二乘法

标签:inline   ali   middle   for   ati   技术   通过   tar   list   

原文地址:https://www.cnblogs.com/HYun/p/11924215.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!