算法原理：算法通过最小化约束条件4ac-b^2 = 1，最小化距离误差。利用最小二乘法进行求解，首先引入拉格朗日乘子算法获得等式组，然后求解等式组得到最优的拟合椭圆。参考文献：Andrew W. Fitzgibbon, Maurizio Pilu and Robert B. Fisher. Dire...
分类：
其他好文 时间：
2015-07-06 19:49:27
阅读次数：
365
继上一篇基本最小二乘法和带部分空间约束的最小二乘法，它们要么易过拟合，要么不易求解，下面介绍 l2约束的最小二乘法，又叫正则化最小二乘法，岭回归。
一个模型的复杂程度与系数有关，最简单的模型是直接给所有系数赋值为0，则该模型总会预测出0值，模型虽然足够简单，但是没有意义，因为它不能有效预测。
定义模型的复杂度为：
由于我们的目的是使模型不要过于复杂，所以让上述值小是有意义的，因此新的目标...
分类：
其他好文 时间：
2015-07-06 12:25:59
阅读次数：
2146
本文主要讲解基本最小二乘法和带有约束条件的最小二乘法。
一 基本最小二乘法
最小二乘法是回归中最为基础的算法。它是对模型的输出和训练样本输出的平方误差（这里还乘以了1/2只是为了求导简化）为最小时的参数 进行学习。
特别地，对于线性模型有：
求导可得：
其中设计矩阵：
%基本最小二乘法
clear all;
close all;
n = 50;
N ...
分类：
其他好文 时间：
2015-07-04 23:34:03
阅读次数：
157
从上一篇可知，在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小，从而确定h(θ).
上一篇通过梯度下降法求得J(θ)最小，这篇我们将使用矩阵的方法来解释。
1、普通最小二乘法
利用矩阵的方式，m个训练集（x,y）可以如下表示：
因此,所以
根据 可知，
为使J(θ)最小，通过求导推导可得：
...
分类：
其他好文 时间：
2015-07-02 12:09:01
阅读次数：
207
最小二乘拟合曲线原理，以及c++详细代码，最后给出了测试用例，将一组数据拟合成二次曲线。...
分类：
编程语言 时间：
2015-06-30 18:27:29
阅读次数：
220
分类模型如下： 回归问题：学习的结果是连续的，比如房价等等
分类问题：学习的结果是非连续的，分成某几个类
梯度下降例子：
：条件：
对于输入X有n个特征值。X = {x1,x2,x3,x4,.......,xnx_1, x_2, x_3, x_4, ....... ,x_n}
一共有m组输入。X1,X2,......,XmX_1, X_2, ...... , X_m
结果：
根据给出的数据得到函数...
分类：
其他好文 时间：
2015-06-20 17:06:49
阅读次数：
207
对SVM的个人理解之前以为SVM很强大很神秘，自己了解了之后发现原理并不难，不过，“大师的功力在于将idea使用数学定义它，使用物理描述它”，这一点在看SVM的数学部分的时候已经深刻的体会到了，最小二乘法、梯度下降法、拉格朗日乘子、对偶问题等等被搞的焦头烂额。在培乐园听了讲课之后才算比较清晰的了解了...
分类：
其他好文 时间：
2015-06-19 21:32:03
阅读次数：
278
分类模型如下： 回归问题：学习的结果是连续的，比如房价等等
分类问题：学习的结果是非连续的，分成某几个类
回归问题(Regression)例子：
：条件：
对于输入X有n个特征值。X = {x1,x2,x3,x4,.......,xnx_1, x_2, x_3, x_4, ....... ,x_n}
一共有m组输入。X1,X2,......,XmX_1, X_2, ...... , X_m
结果：...
分类：
其他好文 时间：
2015-06-19 10:40:03
阅读次数：
180
概念最小二乘法多项式曲线拟合，依据给定的m个点,并不要求这条曲线精确地经过这些点。而是曲线y=f(x)的近似曲线y= φ(x)。原理[原理部分由个人依据互联网上的资料进行总结。希望对大家能实用] 给定数据点pi(xi,yi)，当中i=1,2,…,m。求近似曲线y= φ(x)。而且使得近似曲线与y=....
分类：
其他好文 时间：
2015-06-08 18:43:22
阅读次数：
120
本文采用了opencv的一些函数来对平面进行拟合。
//Ax+by+cz=D
void cvFitPlane(const CvMat* points, float* plane){
// Estimate geometric centroid.
int nrows = points->rows;
int ncols = points->cols;
int type = point...
分类：
其他好文 时间：
2015-05-28 16:18:18
阅读次数：
552
