认识 梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模), 我感觉, 其实就是 偏导数向量方向呗 , 沿着这个 向量方向可以找到局部的极值 . Python from random impor ...
分类：
编程语言 时间：
2019-10-13 20:58:01
阅读次数：
110
z = f(x,y) x,y属于集合D，M0（x0，y0）属于集合D 见图可知，可以类比于上山下山的过程，在M0点是此时在p0点的一个向下的投影，在p0点存在上山下山情况，可以去各个方向。过m0点做一条射线l，上面存在m点(x0+Δx,y0+Δy)在l上在l上，Δz = f(x0+Δx,y0+Δy) ...
分类：
其他好文 时间：
2019-09-28 20:32:35
阅读次数：
103
一、梯度下降 引入：当我们得到了一个目标函数后，如何进行求解？直接求解吗？（并不一定可以直接求解，线性回归可以当做是一个特例） 梯度：梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。在机器 ...
分类：
其他好文 时间：
2019-07-04 00:46:28
阅读次数：
118
多维函数梯度（偏导数组成） 方向导数： 迭代方程： 发现，最优值取值在x1=0,x2=0 附近 ...
分类：
其他好文 时间：
2018-12-03 12:54:44
阅读次数：
280
1.目标函数（objective function）或准则（criterion） 要最小化或最大化的函数 最小化时，我们也把它称为代价函数（cost function）、损失函数（loss function）或误差函数（error function） 一个上标 ? 表示最小化或最大化函数的 x 值。 ...
分类：
其他好文 时间：
2018-11-28 12:21:45
阅读次数：
235
在SLAM中，机器学习中等关于梯度下降的应用还是蛮多的，但是关于“反向梯度方向是函数值局部下降最快的方向”等概念的解释，不是特别清晰，下面附上自己的一些理解。 名词解析： 梯度： 梯度是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着梯度的方向变化最快。 设在平面区域 ...
分类：
其他好文 时间：
2018-10-31 12:39:01
阅读次数：
237
梯度下降（GD） 梯度的本意是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，导数对应的是变化率 即函数在该点处沿着该方向变化最快，变化率最大（为该梯度的模） 随机梯度下降（SGD）：每次迭代随机使用一组样本 针对BGD算法训练速度过慢的缺点，提出了SGD算法，普通的BGD算法是每次迭 ...
分类：
其他好文 时间：
2018-09-14 22:53:31
阅读次数：
151
这两门学科作为机器学习的必备科目！一、微积分1夹逼定理通俗的讲：A≤B≤C当求极限时，存在A=C,则说明B也等于A和C案例1：案例2：2两个重要极限3导数通俗的讲就是曲线的斜率二阶导数是斜率变化快慢的反应，表征曲线的凹凸性常用的函数的导数案例1：求幂指函数的套路===重要公式之，泰勒公式：简单应用：4方向导数和梯度函数(1)方向导数：如果函数z=f(x,y)在点P(x,y)是可微分的，那么，函数在
分类：
其他好文 时间：
2018-09-10 14:04:22
阅读次数：
190
1、夹逼定理 2、导数 导数就是曲线的斜率，是曲线的变化快慢的反映 3、泰勒展开 应用：数值计算和实践中的模型简化 4、方向导数 5、梯度 6、凸函数 ...
分类：
其他好文 时间：
2018-07-29 11:48:06
阅读次数：
151
1、夹逼定理 2、导数 导数就是曲线的斜率，是曲线的变化快慢的反映 3、泰勒展开 应用：数值计算和实践中的模型简化 4、方向导数 5、梯度 6、凸函数 7、概率论 ...
分类：
其他好文 时间：
2018-07-13 17:39:29
阅读次数：
146
