一、概念：（Iteratice Method）,迭代是数值分析中通过一个初始估计出发寻找一系列近似解解决问题（一般是解方程或者方程组）的过程，为实现这一过程所使用的方法统称为迭代法。 常见的迭代法是牛顿法。其它还包括最速下降法、共轭迭代法、变尺度迭代法、最小二乘法、线性规划、非线性规划、单纯型法、....
分类：
其他好文 时间：
2014-08-12 12:43:44
阅读次数：
191
偏最小二乘法（PLS）是近年来发展起来的一种新的多元统计分析http://en.wikipedia.org/wiki/Partial_least_squares_regression
分类：
其他好文 时间：
2014-08-11 23:59:53
阅读次数：
437
最小二乘法的直线拟合 #coding:utf-8
import?numpy?as?np
import?matplotlib.pyplot?as?plt
dots?=?np.array([[1,6],?[2,5],?[3,7],?[4,10]])
plt.plot([i[0]?for?i?in?dots],?
????[i[1]...
分类：
其他好文 时间：
2014-07-26 03:37:57
阅读次数：
255
本来以为可以将《实战机器学习》的代码全部实现完，殊不知到了支持向量机这一章，仅是为了理清概念，我找出高数线代概统重识拉格朗日乘数、向量空间、最小二乘法，为了理解非线性情况时用到的核技术去查阅曼瑟定理...
分类：
其他好文 时间：
2014-07-25 00:00:26
阅读次数：
290
似然函数：似然函数在形式上就概率密度函数。 似然函数用来估计某个参数。最大似然函数：就是求似然函数的最大值。 最大似然函数用于估计最好的参数。最小二乘法：它通过最小化误差的平方和寻找数据的最佳函数匹配。就是求 y=a1+a2x的系数。通过最小化误差的平方，然后求系数的偏导数，令导数为0，求...
分类：
其他好文 时间：
2014-07-24 22:50:53
阅读次数：
261
主要内容： 1、QR分解定义 2、QR分解求法 3、QR分解与最小二乘 4、Matlab实现 一、QR分解 R分解法是三种将矩阵分解的方式之一。这种方式，把矩阵分解成一个正交矩阵与一个上三角矩阵的积。 QR 分解经常用来解线性最小二乘法问题。QR 分解也是特定特征值算法即QR算法的基础。 定义： 实...
分类：
其他好文 时间：
2014-07-16 18:10:22
阅读次数：
898
在我们研究两个变量(x, y)之间的相互关系时，通常能够得到一系列成对的数据(x1, y1、x2, y2... xm , ym)；将这些数据描绘在x -y直角座标系中(如图1), 若发现这些点在一条直线附近，能够令这条直线方程如(式1-1)。Y计= a0 + a1 X ...
分类：
其他好文 时间：
2014-07-01 23:31:35
阅读次数：
252
本讲主要说一下逻辑回归中的几个问题和具体的参数求解方法
1. 什么是逻辑回归
2. 正则化项
3. 最小二乘法和最大似然法
4. java实现梯度下降法
实验：
样本：
-0.017612 14.053064 0
-1.395634 4.662541 1
-0.752157 6.538620 0
-1.322371 7.152853 0
0.423363 11.054677 0
0....
分类：
编程语言 时间：
2014-07-01 11:13:11
阅读次数：
386
继续一周一次的课堂笔记 :D 昨天去晚了站着听讲，感觉好好啊，注意各种集中。想想整个教室里面就是我和老师是站着的，自豪感油然而生。
第二次课讲的东西依旧比较简单，是这本书第二章的前半部分。作为一个好久之前已经预习过的孩子，我表示万分的得意（最小二乘法难道不是三四年前就学过的？话说以后我再面人的时候，就让他推导最小二乘估计量，嘻嘻...考验一下基本功）。
------------原谅我的...
分类：
其他好文 时间：
2014-06-30 10:00:55
阅读次数：
185
项目介绍：1. 需要预测的数据：2. 采用的权函数以及形函数：3. 求解的形函数曲线结果：4.
算法流程图：5. 预测结果：x=[234 255 255 76 12];y=[162 242 176 54 55];z=[199 200 57 50
73];对应的预测结果为:>> MLS_Output....
分类：
移动开发 时间：
2014-06-12 06:17:39
阅读次数：
510
