机器学习（一）—— 线性回归 目录 0. 回归（Regression）的由来 1. 回归关系 2. 线性回归的整体思路 （1）根据数据提出假设模型 （2）求解参数 1）梯度下降法 2）正规方程求解参数 （3）梯度下降法与正规方程比较 3. 回归的一般方法 4. 实例分析 5. 线性回归的特点及其优缺 ...
分类：
其他好文 时间：
2018-07-03 11:32:47
阅读次数：
195
一元线性回归模型 样本数量m 输入变量x 输出变量y 训练样本（x,y） 第i个训练样本（，） 假设函数： 模型参数 代价函数： 优化目标： 算法： 1.梯度下降法 具体解法： 2.正规方程法 ...
分类：
其他好文 时间：
2018-04-20 23:42:29
阅读次数：
230
正规方程： 对于上面的线性回归算法我们都是采用的梯度下降法，使得损失函数最小，而对于线性回归算法还有另外一种使得损失函数最小的方法，那就是正规方程。 正规方程式通过求解下面的方程来找出使得代价函数最小的参数： ?J(θj))?θj=0 假设我们的训练集特征矩阵为X（包含x0=1）并且训练集结果为向量 ...
分类：
其他好文 时间：
2018-02-28 17:31:06
阅读次数：
203
四、多变量线性回归(Linear Regression with Multiple Variables) 4.1 多维特征 4.2 多变量梯度下降 4.3 梯度下降法实践1 特征缩放 4.4 梯度下降法实践2 学习率 4.5 特征和多项式回归 4.6 正规方程 4.7 正规方程及不可逆性（可选） 五 ...
分类：
其他好文 时间：
2018-01-17 00:42:24
阅读次数：
374
一、纲要 线性回归的正规方程解法 局部加权线性回归 二、内容详述 1、线性回归的正规方程解法 线性回归是对连续型的数据进行预测。这里讨论的是线性回归的例子，对于非线性回归先不做讨论。这部分内容我们用的是正规方程的解法，理论内容在之前已经解释过了，正规方程为θ = (XT·X)-1·XT·y。值得注意 ...
分类：
编程语言 时间：
2017-11-04 14:49:45
阅读次数：
230
（一） 线性最小二乘 http://www.cnblogs.com/leexiaoming/p/7224781.html 解线性最小二乘问题，主要包括以下内容： [1]最小二乘问题的定义 [2](Ax=b)求解方法： 正规方程求解 乔姆斯基分解法求解 //接触少 QR分解法求解 奇异值分解法求解（S ...
分类：
其他好文 时间：
2017-10-27 13:28:01
阅读次数：
139
（一） 线性最小二乘 http://www.cnblogs.com/leexiaoming/p/7224781.html 解线性最小二乘问题，主要包括以下内容： [1]最小二乘问题的定义 [2](Ax=b)求解方法： 正规方程求解 乔姆斯基分解法求解 //接触少 QR分解法求解 奇异值分解法求解（S ...
分类：
其他好文 时间：
2017-10-27 01:29:47
阅读次数：
213
对于一个线性回归问题有 为了使得预测值h更加接近实际值y，定义 J越小，预测更加可信，可以通过对梯度的迭代来逼近极值 批梯度下降（batch gradient descent）（the entire training set before taking a single step） 随机梯度下降（s ...
分类：
其他好文 时间：
2017-09-22 22:42:10
阅读次数：
236
前言 以下内容是个人学习之后的感悟，如果有错误之处，还请多多包涵~ 正规方程法 一、函数参数向量化 在计算机中，我们需要用同样的算法计算大量数据样本时，一般有两种方式：循环、参数向量化。 循环~，可想而知，计算量不是一般的大，不建议。 参数向量化的效率就高多了，把全部样本转换为向量，一次执行就搞定了 ...
分类：
其他好文 时间：
2017-08-26 12:42:21
阅读次数：
129
Normal Equation Note: [8:00 to 8:44 - The design matrix X (in the bottom right side of the slide) given in the example should have elements x with sub ...
分类：
其他好文 时间：
2017-08-07 00:22:10
阅读次数：
231
