方向导数定理。偏微分点乘方向单位向量 梯度最大的方向导数，标量场中某一点上梯度指向标量场中增长最快的方向。梯度的长度是这个导数值。 条件极值。对自变量有附加条件的极值。 e.g.:表面积为S的体积最大的长方体max(xyz)|2(xy+yz+xz)=s 转化无条件极值，利用拉格朗日乘数法 要找z=f...
分类：
其他好文 时间：
2014-11-23 12:59:02
阅读次数：
226
数学基础（2节课）微积分极限，e，导数，微分，积分偏导数，方向导数，梯度极值，多元函数极值，多元函数泰勒展开无约束优化，约束优化拉格朗日乘子，对偶问题线性代数矩阵，行列式，初等变换线性相关，线性无关秩，特征值，特征向量正交向量、正交矩阵矩阵分解概率随机变量，概率密度函数，分布函数条件概率，全概率公式...
分类：
其他好文 时间：
2014-10-30 10:16:09
阅读次数：
185
函数在点的梯度就被定义为向量：与射线同方向的单位向量被定义为：于是方向导数变成了：函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值。
分类：
其他好文 时间：
2014-10-22 12:46:29
阅读次数：
149
1.最速下降方向函数f(x)在点x处沿方向d的变化率可用方向导数来表示。对于可微函数，方向导数等于梯度与方向的内积，即：Df(x;d)=▽f(x)Td,因此，求函数f(x)在点x处的下降最快的方向，可归结为求解下列非线性规划：min▽f(x)Tds.t.||d||≤1当d=-▽f(x)/||▽f(x...
分类：
其他好文 时间：
2014-10-14 23:45:09
阅读次数：
479
图像处理中，边缘检测中，会用到梯度这个概念，今天就来说说梯度这个玩意方向导数与梯度方向导数是函数在某个点上沿着某个方向上的变化率，而偏导与是在x和y轴方向上的特殊的方向导数，是一种特殊的方向导数。(一定要强调某个点)梯度被定义为是一个向量梯度的方向是方向导数取..
分类：
其他好文 时间：
2014-09-28 11:28:02
阅读次数：
446
最近在搞论文，需要用梯度下降算法求解，所以重新整理分享在这里。主要包括梯度介绍、公式求导、学习速率选择、代码实现。
梯度下降的性质：
1.求得的解和选取的初始点有关
2.可以保证找到局部最优解，因为梯度最终会减小为0，即步长会自动越来越小。
梯度简介
一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向，即方向导数取最大值的方向。
问题描述公式求导学习率选择
假...
分类：
其他好文 时间：
2014-05-07 07:05:49
阅读次数：
287
