AR(Autoregressive)模型（自回归模型）：用同一变量之前的表现情况来预测该变量现在或未来的表现情况，这种预测方法只与变量自己有关，而与其他变量无关，所以称作是自回归。
数学定义模型:假定AR模型是p阶的，对于一组时间序列有观测值{x[1],x[2],.....x[N]}，计算t时刻x的预测值x[t]，其自回归方程：
x[t]=a[1]*x[t-1]+a[2]*x[t-2...
分类：
其他好文 时间：
2016-03-27 01:58:22
阅读次数：
1763
在计算机视觉的应用中，经常会用到提取一条直线的精确位置这样的工作。这时就要用到直线的拟合算法了。这里，我也贴一个利用最小二乘法计算最佳拟合直线的代码。这个代码是我以前学习《机器视觉算法与应用（双语版）》[德] 斯蒂格（Steger C） 著；杨少荣 等 译 的书时写的。所有的公式推导都在书中 3.8.1 ，还算比较有用。
与一元线性回归算法的区别：一元线性回归算法假定 X 是无误差的，只有 Y...
分类：
编程语言 时间：
2016-03-12 19:59:48
阅读次数：
504
1、结论 测量误差（测量）服从高斯分布的情况下， 最小二乘法等价于极大似然估计。 2、最大似然估计 最大似然估计就是通过求解最大的（1）式得到参数，其中 L 函数称为参数的似然函数，是一个概率分布函数。 ...
分类：
其他好文 时间：
2016-03-09 12:44:28
阅读次数：
136
1、前言 a、本文主性最小二乘的标准形式，非线性最小二乘求解可以参考Newton法 b、对于参数求解问题还有另外一种思路：RANSAC算法。它与最小二乘各有优缺点： --当测量值符合高斯分布（或者说测量误差符合期望为0的高斯分布），使用最小二乘比较合适，可以获得比较稳定且很高的精度。 ...
分类：
其他好文 时间：
2016-03-08 10:33:38
阅读次数：
181
1、前言： a、本文中主要讲解线性最小二乘的标准形式及求解方法。 b、在同类问题的求解方法中，RANSAC算法是另一种求解思路，它们各有优点与缺点。 --当测量数据 x 属于高斯分布（期望为x的真值，或者说期望为0误差符合高斯分布）时，此时应选择最小二乘...
分类：
其他好文 时间：
2016-03-07 23:55:53
阅读次数：
170
MLE: maximum likelihood estimate 最大似然估计 OLS: Ordinary Least Squares 普通最小二乘法 LSE: Least Squares Estimate 最小二乘估计 IRLS: Iteratively Reweighted Least Squa
分类：
其他好文 时间：
2016-03-04 13:13:34
阅读次数：
137
博文参考了以下两位博主的文章：http://blog.csdn.net/lu597203933/article/details/45032607，http://blog.csdn.net/viewcode/article/details/8794401 回归问题的前提： 1） 收集的数据 2） 假设
分类：
其他好文 时间：
2016-03-03 21:01:30
阅读次数：
1322
二. 最小二乘法 我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机 等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称
分类：
其他好文 时间：
2016-03-03 13:02:36
阅读次数：
137
上研究生的时候接触的第一个Loss function就是least square。最近又研究了一下，做个总结吧。 定义看wiki就够了。公式如下 E(w)=12∑n=1N{y?xWT}2E(w)=12∑n=1N{y?xWT}2 其中yy代表类标列向量，xx代表特征行向量，WW代表回归或者分类参数矩阵
分类：
其他好文 时间：
2016-03-01 12:25:58
阅读次数：
211
我们知道在二维坐标中，已知两点就可以确定一个线性方程，如果有n个数据点(x1,y1),(x2,y2),...(xn,yn)，那么就会有n个线性方程，我们使用最小二乘法从这n个方程中拟合出一个最佳的线性方程，也就是求出方程的参数a，b设某个已知的一元线性方程的表达式为：y=a+bx有一组权重相等的测量
分类：
其他好文 时间：
2016-02-29 00:27:37
阅读次数：
225
