再谈最小平方问题 有了矩阵求导工具后，我们可以寻找最小化损失函数的参数值的闭式解（closed form solution）。首先我们先把这个损失函数表达成向量的形式。 把每个训练样本放在矩阵一行，可以得到一个$m \times n$ 设计矩阵$X$ （design matrix） ，即 $$ X= ...
分类：
其他好文 时间：
2019-09-23 15:24:17
阅读次数：
126
梯度下降算法的大家族： ①批量梯度下降：有N个样本，求梯度的时候就用了N个样本的梯度数据 优点：准确 缺点：速度慢 ②随机梯度下降：和批量梯度下降算法原理相似，区别在于求梯度时没有用所有的N歌样本数据，而是仅仅选取1个来求梯度 优点：速度快 缺点：准去率地 ③小批量梯度下降：批量梯度下降算法和随机梯 ...
分类：
编程语言 时间：
2019-06-12 18:05:34
阅读次数：
144
为了求得参数θ，也可以不用迭代的方法（比如梯度下降法），可以采用标准方程法一次性就算出了θ。 标准方程法介绍： （1） 这里面，X的第一列是人为添加的，为了方便运算的，都置为1，后面才是真正的特征。 （2） 下面是样本对应的输出： （3） 设拟合函数为： h(x) = θ0 * x0 + θ1 * ...
分类：
其他好文 时间：
2019-04-21 13:02:47
阅读次数：
1096
1.对某些线性回归问题，正规方程给出了更好的解决方法，来求得参数θ，截止到目前我们一直使用线性回归算法是梯度下降法，为了最小化代价函数J(θ)，我们使用梯度下降多次迭代，来收敛得到全局的最小值。与此相反的正规方程提供了一种求θ的解析方法，我们不需要再去运用迭代的方法，而是可以直接一次性的求解θ最优值 ...
分类：
其他好文 时间：
2019-01-22 17:27:53
阅读次数：
181
定义：任意$A=A_{m \times n}$，方程$AX=b$可产生新方程$A^HAX=A^Hb$，叫$AX=b$的正规方程。 引理：正规方程组$A^HAX=A^Hb$一定有解（相容），且有特解$X_0=A^+b$(使$A^HAX=A^Hb$) 证明： \[{A^H}A{X_0} = {A^H}A ...
分类：
其他好文 时间：
2019-01-07 10:32:20
阅读次数：
259
在第四讲中，主要学习了多变量线性回归(Linear Regression with Multiple Variables)的多维特征、多变量梯度下降、特征缩放、特征和多项式回归以及正规方程等。# 多维特征（Multiple Features）为房价模型增加更多的特征，如房间楼层数等，则构成了一个含有... ...
分类：
系统相关 时间：
2018-12-19 22:02:43
阅读次数：
265
Normal equation: Method to solve for θ analytically 正规方程：分析求解θ的方法 对于损失函数 \[J\left( {{\theta _0},{\theta _1},...,{\theta _n}} \right) = \frac{1}{{2m}}\ ...
分类：
编程语言 时间：
2018-10-24 01:02:04
阅读次数：
192
一 线性模型 给定由n个属性描述的 列向量 $\textbf{x}={(x^{(1)};x^{(2)};...;x^{(n)})}$，其中 $x^{(j)}$是$\textbf{x}$在第$j$个属性的取值。线性模型即为通过对属性进行线性组合的函数，即 $$f(\textbf{x})=w_0+w_1 ...
分类：
其他好文 时间：
2018-08-24 19:31:29
阅读次数：
210
1.梯度下降法 (1)需要选择学习率a (2)需要多次迭代 优点：梯度下降法在特征变量很多的情况下也能运行地相当好 2.正规方程法 (1)不需要选择学习率a (2)不需要迭代 (3) 正规方程法不需要做特征缩放 缺点：当正规方程法的特征矩阵维度比较大时，会慢很多 总结：当n维比较小时，正规方程法比较 ...
分类：
其他好文 时间：
2018-07-28 20:32:38
阅读次数：
288
