【转载】偏最小二乘法回归（Partial Least Squares Regression）
分类：
其他好文 时间：
2015-01-16 12:36:50
阅读次数：
353
高斯函数是数学上非常重要的函数，我们熟悉的正态分布的密度函数就是高斯函数，也称高斯分布。而正态分布无疑是概率论与数理统计里最重要的一个分布了。
现在的问题是如果给出一些点集，如何找到一个高斯函数来拟合这些点集呢！
当然，拟合方式还是最小二乘法，拟合函数形式为：
y=a*exp(-((x-b)/c)^2);
一共有三个参数，a、b、c.不过这种指数函数拟合比较难实...
分类：
编程语言 时间：
2015-01-09 17:35:44
阅读次数：
507
数值分析学习心得：插值法：拉格朗日插值，埃米特插值函数逼近：最小二乘法求积分的算法：牛顿-科斯特公式，龙贝格求积公式，高斯求积公式求线性方程组的迭代法：jacobi迭代法，高斯-赛德尔迭代法求非线性方程的算法：牛顿法求常微分方程初值问题的算法：欧拉法，龙格-库塔法数值分析课程设计 浙江大学 陈越第1...
分类：
其他好文 时间：
2015-01-05 20:25:22
阅读次数：
427
前言 本文将系统的介绍机器学习中监督学习的回归部分，系统的讲解如何利用回归理论知识来预测出一个分类的连续值。 显然，与监督学习中的分类部分相比，它有很鲜明的特点：输出为连续值，而不仅仅是标称类型的分类结果。基本线性回归解决方案 - 最小二乘法 “给出一堆散点，求出其回归方程。" -> 对于这个...
分类：
其他好文 时间：
2015-01-04 22:58:24
阅读次数：
335
转自http://www.36dsj.com/archives/20135Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikel...
分类：
其他好文 时间：
2015-01-04 21:19:33
阅读次数：
241
对平面上的一些点拟合有很多手段，其中椭圆拟合在图像轮廓划分等很多方面都很重要，当然，我们一般还是用最小二乘法来拟合椭圆，
在这里，我实现了两种算法，一种是
http://wenku.baidu.com/link?url=7kIrC8LoOMCtlmAH8yqkpUQfiKwWnVe4EoUJekkQSgQ1qTWfLAuEXTYvYTv7SATGIJYX4IxcTIB94-i...
分类：
其他好文 时间：
2014-12-31 18:34:49
阅读次数：
185
（下文内容为转载，不过已经不清楚原创的是哪里了，特此说明）转自：http://www.cnblogs.com/dotLive/archive/2006/10/09/524633.html该网址下面有更多的讨论。最小二乘法(least squares analysis)是一种 数学 优化 技术，它通过...
分类：
其他好文 时间：
2014-12-20 12:54:35
阅读次数：
216
线性回归算法优缺点：优点：结果易于理解，计算不复杂缺点：对非线性数据拟合不好适用数据类型：数值型和标称型算法思想：这里是采用了最小二乘法计算（证明比较冗长略去）。这种方式的优点是计算简单，但是要求数据矩阵X满秩，并且当数据维数较高时计算很慢；这时候我们应该考虑使用梯度下降法或者是随机梯度下降（同Lo...
分类：
其他好文 时间：
2014-12-06 01:21:06
阅读次数：
892
前一篇文章《正交投影》中我们讲述了正交投影，现在我们来从正交投影的角度来看看我们熟悉的最小二乘法。我记得最早知道最小二乘法是在大一上高数课的时候，我们首先回顾一下什么是最小二乘法。
1、最小二乘法
最近机器学习比较火，机器学习中的许多算法都是对信息进行分类，比如说支持向量机就是根据已知信息来分类，神经网络可以找到输入输出的关系（当然，不能给出具体的数学表达式），这两种算法都能找...
分类：
其他好文 时间：
2014-12-05 12:42:01
阅读次数：
274
可以使用最小二乘法来进行柜位预测，但是其预测的时间短，不能很好的用于实践当中。在查询了一些资料后，神经网络是解决该问题的最好的方法。神经网络是什么，我们应该如何使用它来完成功能，我会在本篇和后续的文章中逐一介绍自己所学的心得。本篇是翻译文章，对神经网络库——FANN库进行了介绍。本人英语水平有限，有翻译不当的地方望指出。
本篇译文的原文可以从此下载。
简化神经网络
多年前，好莱坞科幻片《...
分类：
其他好文 时间：
2014-11-24 17:17:31
阅读次数：
170
