声明： 现在发现每写一篇随笔，就要在前面添加些牢骚话，各位看客如果嫌烦，直接绕道吧。 近期重新拾起C语言，因为工作的需要。 图像这个行当，matlab可以作为测试，但是真正应用的话还得转成C，所以这就是我这段时间苦逼的开始。 因为需要用到多项式变换，其中的系数求解又牵涉到线性方程组和最小二乘...
分类：
其他好文 时间：
2015-04-01 17:18:32
阅读次数：
203
原文：http://blog.csdn.net/jairuschan/article/details/7517773/概念最小二乘法多项式曲线拟合，根据给定的m个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。原理[原理部分由个人根据互联网上的资料进行总结，希望对...
分类：
其他好文 时间：
2015-03-28 18:32:51
阅读次数：
138
1.原理
在现实中经常遇到这样的问题，一个函数并不是以某个数学表达式的形式给出，而是以一些自变量与因变量的对应表给出，老师讲课的时候举的个例子是犯罪人的身高和留下的脚印长，可以测出一些人的数据然后得到一张表，它反应的是一个函数，回归的意思就是将它还原成数学表达式，这个式子也称为经验表达式，之所以叫经验就是说它不完全是实际中的那样准确，是有一定偏差的，只是偏差很小罢了。
最小二乘法
...
分类：
编程语言 时间：
2015-03-18 16:03:26
阅读次数：
163
本节知识点： 贝叶斯统计及规范化 在线学习 如何使用机器学习算法解决具体问题：设定诊断方法，迅速发现问题 贝叶斯统计及规范化（防止过拟合的方法） 就是要找更好的估计方法来减少过度拟合情况的发生。 回顾一下，线性回归中使用的估计方法是最小二乘法，logistic 回归是条件概率的最大似然估计，朴素贝叶...
分类：
其他好文 时间：
2015-03-13 22:08:45
阅读次数：
417
利用最小二乘法进行多项式拟合时，最终归结为求解一个关于a1, a2, a3, ..., an的线性方程组，其矩阵表示如下：求解该方程组的方法有两种。其一，用高斯消元法，解方程组。其二，用矩阵运算，X*A=Y，则A=X^-1*Y。
分类：
其他好文 时间：
2015-03-10 15:13:28
阅读次数：
138
一、线性最小二乘法 1、基本思路 令，其r(x)是事先选定的一组线性无关的函数。ak是待定系数。然后拟合的准则就是使得yi与f(xi)的距离的平方和最小，称之为最小二乘准则 2、系数的确定 ，要使距离的平方和最小，那只要取得，使得取到极值，就可以解除待定系数ak，记 然后线性方程组为，所以当R列满秩...
分类：
编程语言 时间：
2015-02-05 01:57:22
阅读次数：
375
机器学习与智能优化
机器学习与智能优化 之 KNN
OpenCV KNN 之 使用方法
机器学习与智能优化 之 学习有道
机器学习与智能优化 之 线性模型
机器学习与智能计算 之 最小二乘法
机器学习与智能优化 之 规则、决策树和森林
OpenCV 决策树 之 理论准备
OpenCV 决策树 之 使用方法...
分类：
其他好文 时间：
2015-02-01 12:07:32
阅读次数：
178
线性规划是凸优化的一种，故线性规划只是凸优化的一个子集。是线性规划一定属于凸优化，但反之不一定成立。凸优化与线性规划定义的区别有两点：系数，等号最小二乘优化没有限制条件。但A行数不小于列数，使得转置再相乘的时候有可能得逆矩阵。最小二乘法可以通过增加权重或附加项来调整，增加灵活性。所有从n维实空间到实...
分类：
其他好文 时间：
2015-01-27 17:46:42
阅读次数：
169
概念最小二乘法多项式曲线拟合，依据给定的m个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。原理[原理部分由个人依据互联网上的资料进行总结，希望对大家能实用] 给定数据点pi(xi,yi)，当中i=1,2,…,m。求近似曲线y= φ(x)。而且使得近似曲线与y=....
分类：
其他好文 时间：
2015-01-22 23:03:09
阅读次数：
555
