码迷,mamicode.com
首页 >  
搜索关键字:梯度    ( 2016个结果
Back Propagation:反向传播
1. 前向传播和反向传播 ①前向传播 forward propagation:从前往后,根据输入和参数计算输出值和损失值,并将当地梯度(local gradient),即每个结点的输出值对该节点的输入值的偏导数,保留 在内存中以供反向传播计算梯度时使用,注意:前一个结点的输出是后一个结点的输入 ②反 ...
分类:其他好文   时间:2020-01-24 18:57:01    阅读次数:132
多元线性回归模型
所谓的多元,通俗一点讲就是一个数据集中含有多个特征,一元的话就含有一个特征,因此公式变为 假设 $h_{\theta}(x)=\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}+\cdots+\theta_{n} x_{n}$ 参数:未知 $\theta_{0} ...
分类:其他好文   时间:2020-01-24 18:40:45    阅读次数:64
梯度下降法求解线性回归
梯度下降法 梯度下降法(英语:Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这 ...
分类:其他好文   时间:2020-01-24 17:28:40    阅读次数:113
梯度下降算法&线性回归算法
机器学习的过程说白了就是让我们编写一个函数使得costfunction最小,并且此时的参数值就是最佳参数值。 定义 假设存在一个代价函数 fun:$J\left(\theta_{0}, \theta_{1}\right)$ 通过不断地调整$\theta_{0}$和$\theta_{1}$是函数$J\ ...
分类:编程语言   时间:2020-01-24 14:27:52    阅读次数:80
[深度之眼机器学习训练营第四期]过拟合与正则化
基本概念 机器学习模型面临的两个主要问题是欠拟合与过拟合。 欠拟合 ,即模型具有较高的 偏差 ,说明模型没有从数据中学到什么,如下左图所示。而 过拟合 ,即模型具有较高的 方差 ,意味着模型的经验误差低而泛化误差高,对新数据的泛化能力差,如下右图所示。 通常,欠拟合是由于模型过于简单或使用数据集的特 ...
分类:其他好文   时间:2020-01-23 21:16:34    阅读次数:135
Gradient Descent:梯度下降法
1. 梯度:对于一元函数,梯度是导数/斜率;对于多元函数,梯度是由偏导数组成的向量 梯度的方向:是函数在给定点上升最快的方向 梯度的反方向:是函数在给定点下降最快的方向 多元函数的梯度:(偏导) 2. 梯度下降:函数在某一点处沿着梯度的反方向逐步迭代,求出函数的局部最小值的过程。我们的最终目的是找到 ...
分类:其他好文   时间:2020-01-23 16:57:12    阅读次数:118
前向传播和反向传播实战(Tensor)
前面在mnist中使用了三个非线性层来增加模型复杂度,并通过最小化损失函数来更新参数,下面实用最底层的方式即张量进行前向传播(暂不采用层的概念)。 主要注意点如下: · 进行梯度运算时,tensorflow只对tf.Variable类型的变量进行记录,而不对tf.Tensor或者其他类型的变量记录 ...
分类:其他好文   时间:2020-01-22 20:05:16    阅读次数:121
单变量线性回归模型
1.模型描述 拟合函数 $h_{\theta}(x)=\theta_{0}+\theta_{1} x$ $x=(x^{(1)},x^{(2)}...x^{(m)})$训练集 $h=(h^{(1)},h^{(2)}...h^{(m)})$训练集 共m个样本 参数 $\theta_{0}$是回归系数 $ ...
分类:其他好文   时间:2020-01-22 18:17:19    阅读次数:88
梯度下降
梯度下降:应用最广泛的求极小值算法。 假设一线性回归模型,它的代价函数为 J(θ0,θ1) 。我们的目标是最小化这个代价函数,而要得到最小的代价函数值关键就在于正确选取 θ0和θ1的值,于是我们引出梯度下降算法。 步骤:1. 初始化θ0和θ1的值,通常取0。 2. 不断改变θ0和θ1的值,试图通过这 ...
分类:其他好文   时间:2020-01-20 21:02:16    阅读次数:64
共轭梯度比较详细的解释
参考了一些文献对共轭梯度方法的理解还是不够到位, https://flat2010.github.io/2018/10/26/%E5%85%B1%E8%BD%AD%E6%A2%AF%E5%BA%A6%E6%B3%95%E9%80%9A%E4%BF%97%E8%AE%B2%E4%B9%89/ 1 %E ...
分类:其他好文   时间:2020-01-20 11:13:02    阅读次数:85
2016条   上一页 1 ... 26 27 28 29 30 ... 202 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!